devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【转载】hadoop-2.7.7 HA完全分布式集群部署详解_hadoop2.7.7部署

作者：IT小白 | 2024-05-03 14:26:08

赞

踩

hadoop2.7.7部署

原博地址：https://yq.aliyun.com/articles/703353

1.Hadoop HA简介及工作原理

Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用的。

1.1 Hadoop HA简介

Hadoop-HA集群运作机制介绍

  • HA即高可用（7*24小时不中断服务）
  • 实现高可用最关键的是消除单点故障
  • 分成各个组件的HA机制——HDFS的HA、YARN的HA

HDFS的HA机制详解

通过双namenode消除单点故障，以下为双namenode协调工作的特点：

A、元数据管理方式需要改变：

  • 内存中各自保存一份元数据
  • Edits日志只能有一份，只有Active状态的namenode节点可以做写操作
  • 两个namenode都可以读取edits
  • 共享的edits放在一个共享存储中管理（qjournal和NFS两个主流实现）

B、需要一个状态管理功能模块

  • 实现了一个zkfailover，常驻在每一个namenode所在的节点
  • 每一个zkfailover负责监控自己所在namenode节点，利用zk进行状态标识
  • 当需要进行状态切换时，由zkfailover来负责切换
  • 切换时需要防止brain split现象的发生

1.2 Hadoop HA工作原理图例

HDFS的HA架构

使用 Active NameNode，Standby NameNode 两个结点解决单点问题，两个结点通过JounalNode 共享状态，采用ZKFC选举Active实时监控集群状态，自动进行故障备援。

  • Active NameNode：接受 client 的 RPC 请求并处理，同时写自己的 Editlog 和共享存储上的 Editlog，接收 DataNode 的 Block report, block location updates 和 heartbeat；
  • Standby NameNode：同样会接到来自 DataNode 的 Block report, block location updates 和heartbeat，同时会从共享存储的 Editlog 上读取并执行这些 log 操作，使得自己的 NameNode 中的元数据（Namespcae information + Block locations map）都是和 Active NameNode 中的元数据是同步的。所以说 Standby 模式的 NameNode 是一个热备（Hot Standby NameNode），一旦切换成 Active 模式，马上就可以提供 NameNode 服务
  • JounalNode：用于Active NameNode ， Standby NameNode 同步数据，本身由一组 JounnalNode 结点组成，该组结点基数个，支持 Paxos 协议，保证高可用，是 CDH5 唯一支持的共享方式（相对于 CDH4 促在NFS共享方式）
  • ZKFC：监控NameNode进程，自动备援。

YARN的HA架构

ResourceManager HA由一对Active，Standby结点构成，通过RMStateStore 存储内部数据和主要应用的数据及标记。

支持可替代的RMStateStore实现方式如下：

  • 基于内存的MemoryRMStateStore
  • 基于文件系统的FileSystemRMStateStore
  • 基于 zookeeper的ZKRMStateStore
    ResourceManager HA 的架构模式同NameNode HA的架构模式基本一致，数据共享由 RMStateStore，而ZKFC成为ResourceManager进程的一个服务，非独立存在。

1.3Hadoop HA解决方案架构

Hadoop中的HDFS、MapReduce和YARN的单点故障解决方案架构是完全一致的。

  • 手动模式：指由管理员通过命令进行主备切换，这通常在服务升级时有用。
  • 自动模式：自动模式可降低运维成本并自动切换，但存在潜在危险，如脑裂。

本文将重点介绍下自动模式切换的部署方式。

什么是脑裂：脑裂是Hadoop2.X版本后出现的全新问题，从字面意思我们可以理解为“大脑分裂”；我们想一下，当一个正常人，突然出现有了两个大脑，而且这两个大脑都有自己的意识，对于这个人来说肯定是灾难性问题。同理，在Hadoop中，为了防止单点失效问题而出现了两个namenode（HA机制），这两个namenode正常情况下是起到一个失效，另一个代替的作用，但在实际运行过程中很有可能出现两个namenode同时服务于整个集群的情况，这种情况称之为脑裂。

为什么会出现脑裂：脑裂通常发生在主从namenode切换时，由于ActiveNameNode的网络延迟、设备故障等问题，另一个NameNode会认为活跃的NameNode成为失效状态，此时StandbyNameNode会转换成活跃状态，此时集群中将会出现两个活跃的namenode。因此，可能出现的因素有网络延迟、心跳故障、设备故障等。

怎么解决脑裂问题：1.新增一条心跳线，防止namennode状态无法正常传达。2.使用隔离机制，通过调用活跃节点中的隔离方法，让其主动转换为standby状态，如果该方法失效则使用远程调用执行kill -9命令杀死相应进程，如果该方法仍然无法成功隔离，管理人员可以事先在每台namenode节点中编写一个shell脚本，当出现脑裂问题时，执行该脚本来切断电源，已达到隔离目的。

2.HA环境准备

2.1各主机IP规划

主机名IP地址操作系统安装软件运行进程
sre0110.1.8.11centos7.6jdk、hadoop、zookeeperNameNode、DFSZKFailoverController(zkfc)、ResourceManager
sre0210.1.8.12centos7.6jdk、hadoop、zookeeperNameNode、DFSZKFailoverController(zkfc)、ResourceManager
sre0310.1.8.13centos7.6jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
sre0410.1.8.14centos7.6jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
sre0510.1.8.15centos7.6jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

注意：针对HA模式，就不需要SecondaryNameNode了，因为STANDBY状态的namenode会负责做checkpoint。

2.2添加hosts信息,每台机器均需执行。

  1. cat <<EOF > /etc/hosts 
  2. 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
  3. ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
  4. 10.1.8.11 sre01
  5. 10.1.8.12 sre02
  6. 10.1.8.13 sre03
  7. 10.1.8.14 sre04
  8. 10.1.8.15 sre05
  9. EOF

2.3实现root用户的免密钥登录（正式环境建议新建用户）。

  • 基本要求如下：
  1. sre01到sre01、sre02、sre03、sre04、sre05免秘钥登录。
  2. sre02到sre01、sre02、sre03、sre04、sre05免秘钥登录。
  3. Ip地址和主机名均可，本文默认使用hostname的方式实现。
  • sre01生成密钥并分发密钥至其它机器：
  1. ssh-keygen -t rsa  # 一路回车
  2. ssh-copy-id -i ~/.ssh/id_rsa.pub sre01
  3. ssh-copy-id -i ~/.ssh/id_rsa.pub sre02
  4. ssh-copy-id -i ~/.ssh/id_rsa.pub sre03
  5. ssh-copy-id -i ~/.ssh/id_rsa.pub sre04
  6. ssh-copy-id -i ~/.ssh/id_rsa.pub sre05
  • sre02生成密钥并分发密钥至其它机器：
  1. ssh-keygen -t rsa  # 一路回车
  2. ssh-copy-id -i ~/.ssh/id_rsa.pub sre01
  3. ssh-copy-id -i ~/.ssh/id_rsa.pub sre02
  4. ssh-copy-id -i ~/.ssh/id_rsa.pub sre03
  5. ssh-copy-id -i ~/.ssh/id_rsa.pub sre04
  6. ssh-copy-id -i ~/.ssh/id_rsa.pub sre05

2.4安装JDK并配置环境变量

  1. mkdir -p /usr/java/ /root/software && cd software
  2. wget https://file.bigdatasafe.org/software/jdk/jdk-8u211-linux-x64.tar.gz
  3. tar zxvf jdk-8u211-linux-x64.tar.gz -C /usr/java/
  4. cat <<EOF > /etc/profile.d/jdk.sh
  5. #!/bin/bash
  6. #作者:Adil Lau
  7. #联系方式:bigdatasafe@gmail.com
  8. export JAVA_HOME=/usr/java/jdk1.8.0_211
  9. export JRE_HOME=${JAVA_HOME}/jre
  10. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
  11. export PATH=$JAVA_HOME/bin:$PATH
  12. EOF
  13. chmod a+x /etc/profile.d/jdk.sh
  14. source /etc/profile.d/jdk.sh

3.zookeeper集群部署

根据规划在sre01-05上面分布部署zookeeper节点。

3.1下载zookeeper并修改配置文件

  1. mkdir -p /home/hadoop/ /root/software && cd software
  2. wget https://file.bigdatasafe.org/software/zookeeper/zookeeper-3.4.14.tar.gz
  3. tar zxvf zookeeper-3.4.14.tar.gz -C /home/hadoop/
  4. mkdir -p /home/hadoop/zookeeper-3.4.14/{logs,data}
  5. cat <<EOF > /home/hadoop/zookeeper-3.4.14/conf/zoo.cfg
  6. tickTime=2000
  7. initLimit=10
  8. syncLimit=5
  9. dataDir=/home/hadoop/zookeeper-3.4.14/data
  10. dataLogDir=/home/hadoop/zookeeper-3.4.14/logs
  11. clientPort=2181
  12. autopurge.snapRetainCount=500
  13. autopurge.purgeInterval=24
  14. server.1=sre01:2888:3888
  15. server.2=sre02:2888:3888
  16. server.3=sre03:2888:3888
  17. server.4=sre04:2888:3888
  18. server.5=sre05:2888:3888
  19. EOF
  20. #sre01-05分别对应1-5，各自执行即可。
  21. echo "1" > /home/hadoop/zookeeper-3.4.14/data/myid

3.2配置环境变量并启动相关服务

配置环境变量

  1. cat <<EOF > /etc/profile.d/zookeeper.sh
  2. #!/bin/bash
  3. #作者:Adil Lau
  4. #联系方式:bigdatasafe@gmail.com
  5. export ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.14/
  6. export PATH=$ZOOKEEPER_HOME/bin:$PATH
  7. EOF
  8. chmod a+x /etc/profile.d/zookeeper.sh
  9. source /etc/profile.d/zookeeper.sh

制作启动脚本

  1. cat <<EOF > /home/hadoop/zookeeper-3.4.14/bin/zk.sh
  2. #!/bin/bash
  3. #作者:Adil Lau
  4. #博客:www.bigdatasafe.org
  5. #目的:一键启动zookeeper集群
  6. #联系方式:bigdatasafe@gmail.com
  7. iparray=(sre01 sre02 sre03 sre04 sre05)  
  8. user="root"  
  9. echo "$1"  
  10. if [ $1 = "start" ]  
  11. then  
  12.         cmd="zkServer.sh start"  
  13. fi  
  14.   
  15. if [ $1 = "stop" ]  
  16. then  
  17.         cmd="zkServer.sh stop"  
  18. fi  
  19.   
  20. cmd2="jps"  
  21.   
  22. for ip in ${iparray[*]}  
  23. do  
  24.         echo "ssh to $ip"  
  25.         ssh -t $user@$ip "$cmd"  
  26.         echo "jps:"  
  27.         ssh -t $user@$ip "$cmd2"  
  28.         echo  
  29. done
  30. EOF
  31. chmod a+x /home/hadoop/zookeeper-3.4.14/bin/zk.sh

启动或关闭zookeeper集群

  1. #启动方式
  2. /home/hadoop/zookeeper-3.4.14/bin/zk.sh start
  3. #停止方式
  4. /home/hadoop/zookeeper-3.4.14/bin/zk.sh stop

4.Hadoop HA集群部署

4.1下载软件并修改环境变量

  1. wget https://file.bigdatasafe.org/software/hadoop/hadoop-2.7.7.tar.gz
  2. tar zxvf hadoop-2.7.7.tar.gz -C /home/hadoop/
  3. mkdir -p /home/hadoop/hadoop-2.7.7/{logs,tmp,name,data,journal}
  4. cat <<EOF > /etc/profile.d/hadoop.sh
  5. #!/bin/bash
  6. #作者:Adil Lau
  7. #联系方式:bigdatasafe@gmail.com
  8. export HADOOP_HOME=/home/hadoop/hadoop-2.7.7
  9. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  10. EOF
  11. chmod a+x /etc/profile.d/hadoop.sh
  12. source /etc/profile.d/hadoop.sh

4.2修改core-site.xml配置文件

  1. cat <<EOF > /home/hadoop/hadoop-2.7.7/etc/hadoop/core-site.xml
  2. <?xml version="1.0" encoding="UTF-8"?>
  3. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!--
  5. #作者:Adil Lau
  6. #联系方式:bigdatasafe@gmail.com
  7. -->
  8. <configuration>
  9.  <property>
  10.      <name>fs.defaultFS</name>
  11.      <value>hdfs://hadoopha</value>
  12.  </property>
  13.  <property>
  14.      <name>hadoop.tmp.dir</name>
  15.      <value>file:/home/hadoop/hadoop-2.7.7/tmp</value>
  16.  </property>
  17.  <property>
  18.     <name>ha.zookeeper.quorum</name>
  19.     <value>sre01:2181,sre02:2181,sre03:2181,sre04:2181,sre05:2181</value>
  20.  </property>
  21.  <property>
  22.     <name>ha.zookeeper.session-timeout.ms</name>
  23.     <value>15000</value>
  24.  </property>
  25. </configuration>
  26. EOF

4.3修改hdfs-site.xml配置文件

  1. cat <<EOF > /home/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
  2. <?xml version="1.0" encoding="UTF-8"?>
  3. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!--
  5. #作者:Adil Lau
  6. #联系方式:bigdatasafe@gmail.com
  7. -->
  8. <configuration>
  9.  <property>
  10.      <name>dfs.namenode.name.dir</name>
  11.      <value>file:/home/hadoop/hadoop-2.7.7/name</value>
  12.  </property>
  13.  <property>
  14.      <name>dfs.datanode.data.dir</name>
  15.      <value>file:/home/hadoop/hadoop-2.7.7/data</value>
  16.  </property>
  17.  <property>
  18.      <name>dfs.replication</name>
  19.      <value>3</value>
  20.  </property>
  21.  <!--HA配置 -->
  22.  <property>
  23.      <name>dfs.nameservices</name>
  24.      <value>hadoopha</value>
  25.  </property>
  26.  <property>
  27.      <name>dfs.ha.namenodes.hadoopha</name>
  28.      <value>nn1,nn2</value>
  29.  </property>
  30.  <!--namenode1 RPC端口 -->
  31.  <property>
  32.      <name>dfs.namenode.rpc-address.hadoopha.nn1</name>
  33.      <value>sre01:9000</value>
  34.  </property>
  35.  <!--namenode1 HTTP端口 -->
  36.  <property>
  37.      <name>dfs.namenode.http-address.hadoopha.nn1</name>
  38.      <value>sre01:50070</value>
  39.  </property>
  40.  <!--namenode2 RPC端口 -->
  41.  <property>
  42.      <name>dfs.namenode.rpc-address.hadoopha.nn2</name>
  43.      <value>sre02:9000</value>
  44.  </property>
  45.   <!--namenode2 HTTP端口 -->
  46.  <property>
  47.      <name>dfs.namenode.http-address.hadoopha.nn2</name>
  48.      <value>sre02:50070</value>
  49.  </property>
  50.   <!--HA故障切换 -->
  51.  <property>
  52.      <name>dfs.ha.automatic-failover.enabled</name>
  53.      <value>true</value>
  54.  </property>
  55.  <!-- journalnode 配置 -->
  56.  <property>
  57.      <name>dfs.namenode.shared.edits.dir</name>
  58.      <value>qjournal://sre03:8485;sre04:8485;sre05:8485/hadoopha</value>
  59.  </property>
  60.  <property>
  61.      <name>dfs.client.failover.proxy.provider.hadoopha</name>
  62.      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  63.  </property>
  64.  <!--发生failover时，Standby的节点要执行一系列方法把原来那个Active节点中不健康的NameNode服务给杀掉，
  65.  这个叫做fence过程。sshfence会通过ssh远程调用fuser命令去找到Active节点的NameNode服务并杀死它-->
  66.  <property>
  67.      <name>dfs.ha.fencing.methods</name>
  68.      <value>shell(/bin/true)</value>
  69.   </property>
  70.    <!--SSH私钥 -->
  71.   <property>
  72.       <name>dfs.ha.fencing.ssh.private-key-files</name>
  73.       <value>/root/.ssh/id_rsa</value>
  74.   </property>
  75.  <!--SSH超时时间 -->
  76.   <property>
  77.       <name>dfs.ha.fencing.ssh.connect-timeout</name>
  78.       <value>30000</value>
  79.   </property>
  80.   <!--Journal Node文件存储地址 -->
  81.   <property>
  82.       <name>dfs.journalnode.edits.dir</name>
  83.       <value>/home/hadoop/hadoop-2.7.7/journal</value>
  84.   </property>
  85. </configuration>
  86. EOF

4.4修改yarn-site.xml配置文件

  1. cat <<EOF > /home/hadoop/hadoop-2.7.7/etc/hadoop/yarn-site.xml
  2. <?xml version="1.0"?>
  3. <!--
  4. #作者:Adil Lau
  5. #联系方式:bigdatasafe@gmail.com
  6. -->
  7. <configuration>
  8.     <!-- 开启RM高可用 -->
  9.     <property>
  10.          <name>yarn.resourcemanager.ha.enabled</name>
  11.          <value>true</value>
  12.     </property>
  13.     <!-- 指定RM的cluster id -->
  14.     <property>
  15.          <name>yarn.resourcemanager.cluster-id</name>
  16.          <value>yrc</value>
  17.     </property>
  18.     <!-- 指定RM的名字 -->
  19.     <property>
  20.          <name>yarn.resourcemanager.ha.rm-ids</name>
  21.          <value>rm1,rm2</value>
  22.     </property>
  23.     <!-- 分别指定RM的地址 -->
  24.     <property>
  25.          <name>yarn.resourcemanager.hostname.rm1</name>
  26.          <value>sre01</value>
  27.     </property>
  28.     <property>
  29.          <name>yarn.resourcemanager.hostname.rm2</name>
  30.          <value>sre02</value>
  31.     </property>
  32.     <!-- 指定zk集群地址 -->
  33.     <property>
  34.          <name>yarn.resourcemanager.zk-address</name>
  35.          <value>sre01:2181,sre02:2181,sre03:2181,sre04:2181,sre05:2181</value>
  36.     </property>
  37.     <property>
  38.          <name>yarn.nodemanager.aux-services</name>
  39.          <value>mapreduce_shuffle</value>
  40.     </property>
  41. </configuration>
  42. EOF

4.5修改mapred-site.xml配置文件

  1. cat <<EOF > /home/hadoop/hadoop-2.7.7/etc/hadoop/mapred-site.xml
  2. <?xml version="1.0"?>
  3. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!--
  5. #作者:Adil Lau
  6. #联系方式:bigdatasafe@gmail.com
  7. -->
  8. <configuration>
  9.    <property>
  10.           <name>mapreduce.framework.name</name>
  11.           <value>yarn</value>
  12.    </property>
  13.    <property>
  14.          <name>mapreduce.map.memory.mb</name>
  15.          <value>2048</value>
  16.    </property>
  17.    <property>
  18.           <name>mapreduce.reduce.memory.mb</name>
  19.           <value>2048</value>
  20.    </property>
  21. </configuration>
  22. EOF

4.6修改slaves文件加入节点信息

  1. cat <<EOF > /home/hadoop/hadoop-2.7.7/etc/hadoop/slaves
  2. sre03
  3. sre04
  4. sre05
  5. EOF

4.7分发hadoop文件至其他集群节点

  1. scp -r /home/hadoop/hadoop-2.7.7 sre02:/home/hadoop
  2. scp -r /home/hadoop/hadoop-2.7.7 sre03:/home/hadoop
  3. scp -r /home/hadoop/hadoop-2.7.7 sre04:/home/hadoop
  4. scp -r /home/hadoop/hadoop-2.7.7 sre05:/home/hadoop

5.Hadoop HA集群启动及维护，需按照顺序执行。

5.1初始化zookeeper并启动集群

  • 启动zookeeper节点：sre03、sre04、sre05分别执行
zkServer.sh start
  • 格式化zookeeper节点：sre01执行
hdfs zkfc -formatZK

5.2初始化hadoop并启动集群

  • 启动journalnode节点：sre03、sre04、sre05分别执行
hadoop-daemon.sh  start journalnode
  • 格式化namenode：sre01上执行
hdfs namenode -format
  • 启动datanode节点：sre03、sre04、sre05分别执行
hdfs namenode -format
  • 启动namenode节点sre01
hadoop-daemon.sh start namenode
  • 启动namenode节点sre02
  1. hdfs namenode -bootstrapStandby
  2. hadoop-daemon.sh start namenode

此时sre01和sre02均处于standby状态。

  • 启动zkfc服务：sre01、sre02分别执行
hadoop-daemon.sh  start zkfc

  • 健康状态检查：运行状态说明。

    • 启动zkfc服务后，sre01和sre02会自动选举出active节点。
    • 此时一个节点为active状态，另一个处于standby状态。

5.3 HA故障自动切换测试

**集群健康状态下，默认sre01为active状态，sre02为standby状态。
现在模拟sre01节点故障，将sre01服务终止测试sre02是否自动切换为active状态。**

  • sre01节点执行：
  1. jps
  2. 16415 DFSZKFailoverController
  3. 14213 Jps
  4. 15626 NameNode
  5. kill -9 15626
  • sre02状态查看：

此时sre02由standby状态自动切换到active状态，HA故障自动切换测试成功。

注意：生成环境中由于ResourceManager消耗资源过多，建议是单独部署于独立节点运行。

至此Hadoop HA集群部署完毕，如有问题欢迎留言交流。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/530074
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号