热门标签
热门文章
- 1[ComfyUI进阶教程] lcm+Lora+Controlnet工作流工作流_comfyui lcm lora controlnet详解
- 2GD32 ADC检测电压_gd32 adc基准电压与参考电压
- 3【云原生&微服务二】SpringCloud之Ribbon自定义负载均衡策略（含Ribbon核心API）_springcloud 自定义负载均衡
- 4免疫算法求解配送中心选址问题matlab代码
- 5对话AI之POSTGRESQL的数据结构_postgresql数据结构
- 6paddlenlp Windows本地搭建语义检索系统
- 7针对初学者，解决一些问题【Kali】手把手教你设置Kali源地址以及更新源和安装所有工具命令_kali 更新软件源
- 8文本聚类与摘要，让AI帮你做个总结_文本聚合
- 9Vivado使用技巧（9）：Waveform功能详解_waveform 样式调整
- 10蓝桥杯笔记-2023年第十四届省赛真题-松散子序列_蓝桥杯松散子序列c++
当前位置: article > 正文
开源大数据集群部署（一）集群实施规划
作者：从前慢现在也慢 | 2024-04-12 11:48:26
赞
踩
开源大数据集群部署（一）集群实施规划
作者：櫰木
本次集群规划信息
本次实际生产业务体量存在巨大差异，但集群规划内容相同，因此建议实际生产环境按照按照一定比例扩展即可。
主机操作系统要求
| 软件信息 | 参数 |
|---|---|
| 配置 | 8C16G |
| 操作系统版本 | CentOS Linux release 7.8.2003 (Core) |
| java版本 | java version “1.8.0_281” |
| hadoop版本 | hadoop 3.2.4 |
集群版本规划
| 集群组建 | 版本 |
|---|---|
| HDFS | 3.2.4 |
| YARN | 3.2.4 |
| MapReduce2 | 3.2.4 |
| Hive | 3.1.2 |
| HBase | 2.1.0 |
| ZooKeeper | 3.7.1 |
| Trino | 389 |
主机角色规划
| 服务器 | IP | 角色 |
|---|---|---|
| hd1.dtstack.com（管理节点） | 172.16.104.226 | namenode/resourcemanager/journalnode/zkfc//hive_metastore/hiveserver2 |
| hd2.dtstack.com（管理节点） | 172.16.106.252 | namenode/resourcemanager/journalnode/zkfc/hamster/ranger |
| hd3.dtstack.com（数据节点） | 172.16.107.127 | datanode/nodemanager/journalnode/ |
| hd1.dtstack.com(kerberos节点) | 172.16.106.165 | freeipaserver |
配置目录规划
所有安装包目录为/opt/hadoop 类似
| 组件 | 目录名称 | 目录 |
|---|---|---|
| HADOOP | hadoop datanode目录 | /data/hadoop/dfs/data |
| hadoop namenode目录 | /data/hadoop/dfs/name | |
| hadoop临时目录 | /data/hadoop/tmp | |
| ZOOKEEPER | zookeeper数据目录 | /data/zookeeper/data/ |
| zookeeper日志目录 | /data/zookeeper/log/ |
组件系统用户规划
| 组件 | 启动用户 | 所属组 |
|---|---|---|
| hdfs（namenode/datanode/zkfc/journalnode） | hdfs | hadoop |
| yarn（reourcemanager/nodemanager/） | yarn | hadoop |
| zookeeper | zookeeper | zookeeper |
| hive | hive | hadoop |
| hbase | hbase | hadoop |
| mysql | mysql | mysql |
| ranger | ranger | ranger |
| grafana | grafana | grafana |
| prometheus | prometheus | prometheus |
| trino | trino | hadoop |
更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/410524
推荐阅读
相关标签
