devbox
代码探险家
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Hadoop的HA模式搭建

作者：代码探险家 | 2024-07-15 12:40:20

赞

踩

Hadoop的HA模式搭建

准备三台虚拟机 bigdata007，bigdata008，bigdata009

1.前置工作

1.修改虚拟机的IP地址和hostname

 

2.配置集群中的ip映射（/etc/hosts）

  1.  
  2.  
  3. 192.168.111.57 bigdata007
  4. 192.168.111.58 bigdata008
  5. 192.168.111.59 bigdata009

3.关闭虚拟机的防火墙

4.集群间实现免密登录

  1. ssh root@bigdata007
  2.  
  3. ssh-keygen -t rsa
  4.  
  5. ssh-copy-id bigdat007
  6.  
  7. ssh-copy-id bigdat008
  8.  
  9. ssh-copy-id bigdat009

每台虚拟机都执行类似操作

2.安装zookeeper

导入安装包，解压到/opt/softs目录

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz  -C /opt/softs/

修改包名 mv apache-zookeeper-3.5.7-bin/ zookeeper3.5.7
cd ../

在/zookeeper3.5.7目录下创建zkData目录，

里面创建文件myid写入id

 

配置文件

进入/opt/softs/zookeeper3.5.7/conf 目录

删除log4j.properties

 上传新的

  1. # 定义日志输出路径
  2. log4j.appender.file.File=/opt/softs/zookeeper3.5.7/logs/zookeeper.log
  3. # 定义日志轮循策略，按天轮循
  4. log4j.appender.file.DatePattern='.'yyyy-MM-dd
  5. log4j.appender.file.append=true
  6. log4j.appender.file.layout=org.apache.log4j.PatternLayout
  7. log4j.appender.file.layout.ConversionPattern=%d{ISO8601} [%t] %-5p %c{1}:%L - %m%n

重要路径

在
/opt/softs/zookeeper3.5.7 目录下
创建logs目录

修改文件名

zoo_sample.cfg 为 zoo.cfg
 

 

 修改zoo.cfg

添加 

 分发给其他两台虚拟机

scp -r zookeeper3.5.7/ root@bigdata008:/opt/softs/

修改各个虚拟机上的myid

配置环境变量 /etc/profile
  1. #JAVA_HOME
  2. export JAVA_HOME=/opt/softs/jdk1.8.0
  3. export PATH=$PATH:$JAVA_HOME/bin
  4.  
  5.  
  6. #ZK_HOME
  7. export ZK_HOME=/opt/softs/zookeeper3.5.7
  8. export PATH=$PATH:$ZK_HOME/bin

 

记得source一下  source /etc/profile
，直接分发

​​​​​​​scp /etc/profile root@bigdata008:/etc/

添加启动脚本

创建目录 /opt/shell

导入脚本

  1. #!/bin/bash
  2.  
  3. # 在调用shell脚本时，需要传入一个参数，用于标识执行开启或者关闭zk集群的开启关闭和查询状态
  4.  
  5. #判断调用shell脚本时 是否正常的传入参数
  6.  
  7. #参数小于1
  8. if [ $# -lt 1 ]
  9. then
  10.   echo "调用该脚本时需要传入一个参数"
  11.   exit ;
  12. fi
  13.  
  14. #传入的第一个参数 有三种情况
  15. case $1 in 
  16. "start")
  17. 	echo "----------启动zk集群----------"
  18. 	
  19. 	for hostname in bigdata007 bigdata008 bigdata009
  20. do
  21. 	echo "-------------$hostname------------"
  22. 	ssh $hostname "/opt/softs/zookeeper3.5.7/bin/zkServer.sh start"
  23.  
  24. done
  25. 	
  26. ;;
  27. "stop")
  28. 	echo "----------关闭hadoop集群----------"
  29. 		for hostname in bigdata007 bigdata008 bigdata009
  30. do
  31. 	echo "-------------$hostname------------"
  32. 	ssh $hostname "/opt/softs/zookeeper3.5.7/bin/zkServer.sh stop"
  33.  
  34. done
  35. 	
  36. ;;	
  37. "status")
  38. 	echo "----------查询zk集群状态-------------"
  39. 		for hostname in bigdata007 bigdata008 bigdata009
  40. do
  41. 	echo "-------------$hostname------------"
  42. 	ssh $hostname "/opt/softs/zookeeper3.5.7/bin/zkServer.sh status"
  43.  
  44. done
  45. ;;	
  46. *)
  47. 	echo "输入的参数不符合脚本运行的规则，请输入start或者stop，status"
  48. ;;
  49. esac

将JAVA_HOME=/opt/softs/jdk1.8.0  

写入zkServer.sh

​​​​​​​ 分发给其他虚拟机

scp zkServer.sh root@bigdata008:/opt/softs/zookeeper3.5.7/bin/
 

运行sh /opt/shell/my_zk.sh start 检查脚本是否成功

2.进行集群规划

bigdata007bigdata008bigdata009
hdfsNameNode DataNodeNameNode DataNode DataNode
zk有有有
yarnNodeManagerNodeManager,ResourceManagerNodeManager,ResourceManager

 

 3.上传hadoop安装包

解压

4.修改配置文件

进入目录
/opt/softs/hadoop3.1.3/etc/hadoop

在hadoop-env.sh 中添加

core-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <configuration>
  3.  
  4. 		<!-- hdfs地址,ha中是连接到nameservice -->
  5. 		<property>
  6. 			<name>fs.defaultFS</name>
  7. 			<value>hdfs://mycluster</value>
  8. 		</property>
  9. 		
  10. 		<!-- 指定hadoop数据的存储目录 -->
  11. 		<property>
  12. 			<name>hadoop.tmp.dir</name>
  13. 			<value>/opt/softs/hadoop3.1.3/data</value>
  14. 		</property>
  15. 		
  16. 		<!-- 故障转移 -->
  17. 		<property>
  18. 			<name>ha.zookeeper.quorum</name>
  19. 			<value>bigdata007:2181,bigdata008:2181,bigdata009:2181</value>
  20. 		</property>
  21. 		
  22. 		
  23. 		<!-- 解决HDFS web页面上删除、创建文件权限不足的问题 -->
  24. 		<property>
  25. 			<name>hadoop.http.staticuser.user</name>
  26. 			<value>root</value>
  27. 		</property>
  28.  
  29. 		<property>
  30. 			<name>hadoop.proxyuser.root.hosts</name>
  31. 			<value>*</value>
  32. 		</property>
  33. 		
  34. 		<property>
  35. 			<name>hadoop.proxyuser.root.groups</name>
  36. 			<value>*</value>
  37. 		</property>
  38. 		
  39. </configuration>

hdfs-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2.  
  3. <configuration>
  4.  
  5.   <!-- 为namenode集群定义一个services name -->
  6.   <property>
  7.     <name>dfs.nameservices</name>
  8.     <value>mycluster</value>
  9.   </property>
  10.  
  11.   <!-- nameservice包含哪些namenode,为各个namenode起名 -->
  12.   <property>
  13.     <name>dfs.ha.namenodes.mycluster</name>
  14.     <value>nn1,nn2</value>
  15.   </property>
  16.  
  17.   <!-- 名称为nn1的namenode的rpc地址和端口号,rpc用来和datanode通讯 -->
  18.   <property>
  19.     <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  20.     <value>bigdata007:8020</value>
  21.   </property>
  22.  
  23.   <!-- 名称为nn2的namenode的rpc地址和端口号,rpc用来和datanode通讯  -->
  24.   <property>
  25.     <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  26.     <value>bigdata008:8020</value>
  27.   </property>
  28.  
  29.  
  30.   <!-- 名称为nn1的namenode的http地址和端口号,web客户端 -->
  31.   <property>
  32.     <name>dfs.namenode.http-address.mycluster.nn1</name>
  33.     <value>bigdata007:50070</value>
  34.   </property>
  35.  
  36.   <!-- 名称为nn2的namenode的http地址和端口号,web客户端 -->
  37.   <property>
  38.     <name>dfs.namenode.http-address.mycluster.nn2</name>
  39.     <value>bigdata008:50070</value>
  40.   </property>
  41.  
  42.  
  43.   <!-- namenode间用于共享编辑日志的journal节点列表 -->	
  44.   <property>
  45.     <name>dfs.namenode.shared.edits.dir</name>
  46.     <value>qjournal://bigdata007:8485;bigdata008:8485;bigdata009:8485/mycluster</value>
  47.   </property>
  48.   
  49.   
  50.   <!-- journalnode 上用于存放edits日志的目录 -->
  51.   <property>
  52.     <name>dfs.journalnode.edits.dir</name>
  53.     <value>/opt/softs/hadoop3.1.3/data/dfs/jn</value>
  54.   </property>
  55.  
  56.   <!-- 客户端连接可用状态的NameNode所用的代理类 -->
  57.   <property>
  58.     <name>dfs.client.failover.proxy.provider.ns1</name>
  59.     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  60.   </property>
  61.  
  62.  <!--sshfence：防止namenode脑裂，当脑裂时，会自动通过ssh到old-active将其杀掉，将standby切换为active  -->
  63.   <property>
  64.     <name>dfs.ha.fencing.methods</name>
  65.     <value>sshfence</value>
  66.   </property>
  67.  
  68.  
  69.   <!--ssh密钥文件路径-->
  70.   <property>
  71.     <name>dfs.ha.fencing.ssh.private-key-files</name>
  72.     <value>/root/.ssh/id_rsa</value>
  73.   </property>
  74.  
  75.   <!-- 故障转移设置为ture -->
  76.   <property>
  77.     <name>dfs.ha.automatic-failover.enabled</name>
  78.     <value>true</value>
  79.   </property>
  80.  
  81. </configuration>

mapred-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2.  
  3. <configuration>
  4.  
  5.     <!--指定mapreduce运行在yarn框架上-->
  6.     <property>
  7.         <name>mapreduce.framework.name</name>
  8.         <value>yarn</value>
  9.     </property>
  10.  
  11.     <!--设置mapreduce的历史服务器安装在bigdata007节点上-->
  12.     <property>
  13.         <name>mapreduce.jobhistory.address</name>
  14.         <value>bigdata007:10020</value>
  15.     </property>
  16.  
  17.  
  18. 	<!--设置历史服务器的web页面地址和端口号-->
  19.     <property>
  20.         <name>mapreduce.jobhistory.webapp.address</name>
  21.         <value>bigdata007:19888</value>
  22.     </property>
  23.  
  24. </configuration>

yarn-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2.  
  3. <configuration>
  4.  
  5.   <!-- 配置yarn的默认混洗方式，选择为mapreduce的默认混洗算法 -->
  6.   <property>
  7.     <name>yarn.nodemanager.aux-services</name>
  8.     <value>mapreduce_shuffle</value>
  9.   </property>
  10.  
  11.   <!-- 是否启用日志聚集功能 -->
  12.   <property>
  13.     <name>yarn.log-aggregation-enable</name>
  14.     <value>true</value>
  15.   </property>
  16.  
  17.   <!-- 是配置聚集的日志在HDFS上最多保存多长时间 -->
  18.   <property>
  19.     <name>yarn.log-aggregation.retain-seconds</name>
  20.     <value>106800</value>
  21.   </property>
  22.  
  23.   <!--  启用resourcemanager的ha功能 -->
  24.   <property>
  25.     <name>yarn.resourcemanager.ha.enabled</name>
  26.     <value>true</value>
  27.   </property>
  28.  
  29.   <!--  为resourcemanage ha集群起个id -->
  30.   <property>
  31.     <name>yarn.resourcemanager.cluster-id</name>
  32.     <value>yarn-cluster</value>
  33.   </property>
  34.  
  35.   <!--  指定resourcemanger ha有哪些节点名 -->
  36.   <property>
  37.     <name>yarn.resourcemanager.ha.rm-ids</name>
  38.     <value>rm1,rm2</value>
  39.   </property>
  40.  
  41.   <!--  指定第一个节点的所在节点 -->
  42.   <property>
  43.     <name>yarn.resourcemanager.hostname.rm1</name>
  44.     <value>bigdata008</value>
  45.   </property>
  46.  
  47.   <!--  指定第二个节点所在机器 -->
  48.   <property>
  49.     <name>yarn.resourcemanager.hostname.rm2</name>
  50.     <value>bigdata009</value>
  51.   </property>
  52.  
  53.   <!-- 指定resourcemanger ha所用的zookeeper节点 -->
  54.   <property>
  55.     <name>yarn.resourcemanager.zk-address</name>
  56.     <value>bigdata007:2181,bigdata008:2181,bigdata009:2181</value>
  57.   </property>
  58.  
  59.  <!-- 开启Recovery后，ResourceManger会将应用的状态等信息保存到yarn.resourcemanager.store.class配置的存储介质中，重启后会load这些信息，并且NodeManger会将还在运行的container信息同步到ResourceManager，整个过程不影响作业的正常运行。 -->
  60.   <property>
  61.     <name>yarn.resourcemanager.recovery.enabled</name>
  62.     <value>true</value>
  63.   </property>
  64.  
  65.  <!-- 指定yarn.resourcemanager.store.class的存储介质(HA集群只支持ZKRMStateStore) -->
  66.   <property>
  67.     <name>yarn.resourcemanager.store.class</name>
  68.     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  69.   </property>
  70.  
  71. </configuration>

 配置运行hadoop中的works

 

​​​​​​​​​​​​​​

hadoop分发到别的目录

scp -r hadoop3.1.3/ root@bigdata008:/opt/softs/
 

再次/etc/profile 配置文件

 

  1. #HADOOP_HOME
  2. export HADOOP_HOME=/opt/softs/hadoop3.1.3
  3. export PATH=$PATH:$HADOOP_HOME/bin
  4. export PATH=$PATH:$HADOOP_HOME/sbin
  5.  
  6. export HADOOP_CONF_DIR=/opt/softs/hadoop3.1.3/etc/hadoop
  7. export HADOOP_CLASSPATH=`hadoop classpath`
  8.  
  9.  
  10. export HDFS_NAMENODE_USER=root
  11. export HDFS_DATANODE_USER=root
  12. export HDFS_SECONDARYNAMENODE_USER=root
  13.  
  14. export YARN_RESOURCEMANAGER_USER=root
  15. export YARN_NODEMANAGER_USER=root
  16.  
  17. export HDFS_JOURNALNODE_USER=root
  18. export HDFS_ZKFC_USER=root

配置完成后，传给其他两台虚拟机上，记得source一下

NameNode初始化

1.在每个节点上启动journalnode

hadoop-daemon.sh start journalnode
 

2.在每个节点上启动zk

zkServer.sh start

3.在某一个NameNode节点（bigdata007）上对NameNode进行初始化 

hdfs namenode -format

启动NameNode并进行同步

1.在bigdata007上执行NameNode的启动

hadoop-daemon.sh start namenode

2.在另外一个NameNode节点（bigdata008）上同步元数据信息，然后再启动NameNode

        --同步元数据

        hdfs namenode -bootstrapStandby

        --启动NameNode

hadoop-daemon.sh start namenode



进行zk的初始化        

在bigdata007上执行zk的初始化

hdfs zkfc -formatZK

启动hdfs和yarn

start-dfs.sh

start-yarn.sh

windows配置文件

 

 

用浏览器访问

http://bigdata007:50070

http://bigdata008:50070

 07是活跃的

 

 

yarn的

http://bigdata008:8088


 

http://bigdata009:8088

有一个处于活跃状态

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号