devbox
小小林熬夜学编程
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建_hadoop高可用集群搭建

作者：小小林熬夜学编程 | 2024-04-14 11:15:28

赞

踩

hadoop高可用集群搭建

目录

一、Hadoop部署的三种方式

1、Standalone mode（独立模式）

2、Pseudo-Distributed mode（伪分布式模式）

3、Cluster mode（集群模式）

二、准备工作

1、先完成zk高可用搭建

2、/etc/hosts增加内容

3、各台服务器分别创建目录

4、关闭防火墙和禁用swap交换分区

5、三台机器间免密

6、安装jdk

7、下载好hadoop安装包

三、高可用配置

1、配置core-site.xml

2、配置hdfs-site.xml

3、配置yarn-site.xml文件

4、配置mapred-site.xml

5、配置workers

6、修改配置hadoop-env.sh

四、分发文件

五、启动服务

六、查看服务

七、常见问题解决

1、高可用下提示Operation category READ is not supported in state standby

一、Hadoop部署的三种方式

1、Standalone mode（独立模式）

独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。

2、Pseudo-Distributed mode（伪分布式模式）

伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。

3、Cluster mode（集群模式）

单Namenode节点模式-高可用HA模式

集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。

本教程主要安装 多Namenode 节点 高可用集群模式

二、准备工作

1、先完成zk高可用搭建

【大数据入门核心技术-Zookeeper】（五）ZooKeeper集群搭建

2、/etc/hosts增加内容

172.30.1.56 hadoop001

172.30.1.57 hadoop001

172.30.1.58 hadoop001

3、各台服务器分别创建目录

mkdir -p /data/bigdata/hadoop/tmp

mkdir -p /data/bigdata/hadoop/var

mkdir -p /data/bigdata/hadoop/dfs/name

mkdir -p /data/bigdata/hadoop/dfs/data

mkdir -p /data/bigdata/hadoop/jn

4、关闭防火墙和禁用swap交换分区

1)关闭防火墙和SeLinux

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=.*/SELINUX=disabled/g' /etc/sysconfig/selinux

2)禁用swap交换分区

swapoff -a && sed -i 's/SELINUX=.*/SELINUX=disabled/g' /etc/sysconfig/selinux

5、三台机器间免密

生成密钥

ssh-keygen -t rsa

将密钥复制到其他机器

ssh-copy-id slave1
ssh-copy-id slave2

6、安装jdk

将jdk目录复制到/usr/local

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile

java -version

查看结果

 java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

7、下载好hadoop安装包


下载地址

Apache Hadoop

本次以hadoop3.2.1下载为例

解压
tar zxvf hadoop-3.2.1.tar.gz -C /usr/local

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

source /etc/profile

三、高可用配置

1、配置core-site.xml

  1. <configuration>
  2.     <!-- 把多个 NameNode 的地址组装成一个集群 mycluster -->
  3.     <property>
  4.         <name>fs.defaultFS</name>
  5.         <value>hdfs://mycluster</value>
  6.     </property>
  7.     <!-- 指定 hadoop 运行时产生文件的存储目录 -->
  8.     <property>
  9.         <name>hadoop.tmp.dir</name>
  10.         <value>/data/bigdata/hadoop/tmp</value>
  11.     </property>
  12.     <!-- 指定 zkfc 要连接的 zkServer 地址 -->
  13.     <property>
  14.         <name>ha.zookeeper.quorum</name>
  15.         <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
  16.     </property>
  17.     <!-- NN 连接 JN 重试次数，默认是 10 次 -->
  18.     <property>
  19.         <name>ipc.client.connect.max.retries</name>
  20.         <value>20</value>
  21.     </property>
  22.     <!-- 重试时间间隔，默认 1s -->
  23.     <property>
  24.         <name>ipc.client.connect.retry.interval</name>
  25.         <value>5000</value>
  26.     </property>
  27. </configuration>
  28.

2、配置hdfs-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>dfs.namenode.name.dir</name>
  4.         <value>/data/bigdata/hadoop/dfs/name</value>
  5.         <description>datanode 上存储 hdfs 名字空间元数据</description>
  6.     </property>
  7.     <property>
  8.         <name>dfs.datanode.data.dir</name>
  9.         <value>/data/bigdata/hadoop/dfs/data</value>
  10.         <description>datanode 上数据块的物理存储位置</description>
  11.     </property>
  12.     <property>
  13.         <name>dfs.replication</name>
  14.         <value>2</value>
  15.         <description>副本个数，默认配置是 3，应小于 datanode 机器数量</description>
  16.     </property>
  17.     <property>
  18.         <name>dfs.webhdfs.enabled</name>
  19.         <value>true</value>
  20.     </property>
  21.     <property>
  22.         <name>dfs.permissions.enabled</name>
  23.         <value>false</value>
  24.     </property>
  25. 	
  26. 	
  27.     <!-- JournalNode 数据存储目录 -->
  28.     <property>
  29.         <name>dfs.journalnode.edits.dir</name>
  30.         <value>/data/bigdata/hadoop/jn</value>
  31.     </property>
  32.     <!-- 完全分布式集群名称 -->
  33.     <property>
  34.         <name>dfs.nameservices</name>
  35.         <value>mycluster</value>
  36.     </property>
  37.     <!-- 集群中 NameNode 节点都有哪些 -->
  38.     <property>
  39.         <name>dfs.ha.namenodes.mycluster</name>
  40.         <value>nn1,nn2,nn3</value>
  41.     </property>
  42.     <!-- NameNode 的 RPC 通信地址 -->
  43.     <property>
  44.         <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  45.         <value>hadoop101:8020</value>
  46.     </property>
  47.     <property>
  48.         <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  49.         <value>hadoop102:8020</value>
  50.     </property>
  51. 	<property>
  52.         <name>dfs.namenode.rpc-address.mycluster.nn3</name>
  53.         <value>hadoop103:8020</value>
  54.     </property>
  55. 	
  56.     <!-- NameNode 的 http 通信地址 -->
  57.     <property>
  58.         <name>dfs.namenode.http-address.mycluster.nn1</name>
  59.         <value>hadoop101:9870</value>
  60.     </property>
  61.     <property>
  62.         <name>dfs.namenode.http-address.mycluster.nn2</name>
  63.         <value>hadoop102:9870</value>
  64.     </property>
  65. 	<property>
  66.         <name>dfs.namenode.http-address.mycluster.nn3</name>
  67.         <value>hadoop103:9870</value>
  68.     </property>
  69. 	
  70.     <!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
  71.     <property>
  72.         <name>dfs.namenode.shared.edits.dir</name>
  73.         <value>qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/mycluster</value>
  74.     </property>
  75.     <!-- 访问代理类：client 用于确定哪个 NameNode 为 Active -->
  76.     <property>
  77.         <name>dfs.client.failover.proxy.provider.mycluster</name>
  78.         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  79.     </property>
  80.     <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  81.     <property>
  82.         <name>dfs.ha.fencing.methods</name>
  83.         <value>sshfence</value>
  84.     </property>
  85.     <!-- 使用隔离机制时需要 ssh 秘钥登录-->
  86.     <property>
  87.         <name>dfs.ha.fencing.ssh.private-key-files</name>
  88.         <value>/root/.ssh/id_rsa</value>
  89.     </property>
  90.     <!-- 启用 nn 故障自动转移 -->
  91.     <property>
  92.         <name>dfs.ha.automatic-failover.enabled</name>
  93.         <value>true</value>
  94.     </property>
  95. </configuration>

3、配置yarn-site.xml文件

  1. <configuration>
  2.     <property>
  3.         <name>yarn.nodemanager.aux-services</name>
  4.         <value>mapreduce_shuffle</value>
  5.     </property>
  6. 	
  7.     <!-- 启用 resourcemanager ha -->
  8.     <property>
  9.         <name>yarn.resourcemanager.ha.enabled</name>
  10.         <value>true</value>
  11.     </property>
  12. 	
  13.     <!-- 声明两台 resourcemanager 的地址 -->
  14.     <property>
  15.         <name>yarn.resourcemanager.cluster-id</name>
  16.         <value>cluster-yarn1</value>
  17.     </property>
  18. 	
  19.     <!--指定 resourcemanager 的逻辑列表-->
  20.     <property>
  21.         <name>yarn.resourcemanager.ha.rm-ids</name>
  22.         <value>rm1,rm2,rm3</value>
  23.     </property>
  24. 	
  25.     <!-- ========== rm1 的配置 ========== -->
  26.     <!-- 指定 rm1 的主机名 -->
  27.     <property>
  28.         <name>yarn.resourcemanager.hostname.rm1</name>
  29.         <value>hadoop101</value>
  30.     </property>
  31.     <!-- 指定 rm1 的 web 端地址 -->
  32.     <property>
  33.         <name>yarn.resourcemanager.webapp.address.rm1</name>
  34.         <value>hadoop101:8088</value>
  35.     </property>
  36.     <!-- 指定 rm1 的内部通信地址 -->
  37.     <property>
  38.         <name>yarn.resourcemanager.address.rm1</name>
  39.         <value>hadoop101:8032</value>
  40.     </property>
  41.     <!-- 指定 AM 向 rm1 申请资源的地址 -->
  42.     <property>
  43.         <name>yarn.resourcemanager.scheduler.address.rm1</name>
  44.         <value>hadoop101:8030</value>
  45.     </property>
  46.     <!-- 指定供 NM 连接的地址 -->
  47.     <property>
  48.         <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
  49.         <value>hadoop101:8031</value>
  50.     </property>
  51. 	
  52.     <!-- ========== rm2 的配置 ========== -->
  53.     <!-- 指定 rm2 的主机名 -->
  54.     <property>
  55.         <name>yarn.resourcemanager.hostname.rm2</name>
  56.         <value>hadoop102</value>
  57.     </property>
  58.     <property>
  59.         <name>yarn.resourcemanager.webapp.address.rm2</name>
  60.         <value>hadoop102:8088</value>
  61.     </property>
  62.     <property>
  63.         <name>yarn.resourcemanager.address.rm2</name>
  64.         <value>hadoop102:8032</value>
  65.     </property>
  66.     <property>
  67.         <name>yarn.resourcemanager.scheduler.address.rm2</name>
  68.         <value>hadoop102:8030</value>
  69.     </property>
  70.     <property>
  71.         <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
  72.         <value>hadoop102:8031</value>
  73.     </property>
  74. 	
  75.     <!-- ========== rm3 的配置 ========== -->
  76.     <!-- 指定 rm3 的主机名 -->
  77.     <property>
  78.         <name>yarn.resourcemanager.hostname.rm3</name>
  79.         <value>hadoop103</value>
  80.     </property>
  81.     <!-- 指定 rm3 的 web 端地址 -->
  82.     <property>
  83.         <name>yarn.resourcemanager.webapp.address.rm3</name>
  84.         <value>hadoop103:8088</value>
  85.     </property>
  86.     <!-- 指定 rm3 的内部通信地址 -->
  87.     <property>
  88.         <name>yarn.resourcemanager.address.rm3</name>
  89.         <value>hadoop103:8032</value>
  90.     </property>
  91.     <!-- 指定 AM 向 rm3 申请资源的地址 -->
  92.     <property>
  93.         <name>yarn.resourcemanager.scheduler.address.rm3</name>
  94.         <value>hadoop103:8030</value>
  95.     </property>
  96.     <!-- 指定供 NM 连接的地址 -->
  97.     <property>
  98.         <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
  99.         <value>hadoop103:8031</value>
  100.     </property>
  101. 	
  102.     <!-- 指定 zookeeper 集群的地址 -->
  103.     <property>
  104.         <name>yarn.resourcemanager.zk-address</name>
  105.         <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
  106.     </property>
  107. 	
  108.     <!-- 启用自动恢复 -->
  109.     <property>
  110.         <name>yarn.resourcemanager.recovery.enabled</name>
  111.         <value>true</value>
  112.     </property>
  113. 	
  114.     <!-- 指定 resourcemanager 的状态信息存储在 zookeeper 集群 -->
  115.     <property>
  116.         <name>yarn.resourcemanager.store.class</name>
  117.         <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateSt ore</value>
  118.     </property>
  119. 	
  120.     <!-- 环境变量的继承 -->
  121.     <property>
  122.         <name>yarn.nodemanager.env-whitelist</name>
  123.         <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLAS
  124. SPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  125.     </property>
  126.  
  127.     <!-- ZK中ZNode节点能存储的最大数据量，以字节为单位，默认是 1048576 字节，也就是1MB，现在扩大100倍 -->
  128.     <property>
  129.         <name>yarn.resourcemanager.zk-max-znode-size.bytes</name>
  130.         <value>104857600</value>
  131.     </property>
  132.  
  133.     <!--用于状态存储的类,可以设置为-->
  134.     <property>
  135.         <name>yarn.resourcemanager.store.class</name>
  136.    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  137.     </property>
  138. </configuration>

4、配置mapred-site.xml

  1. <configuration>
  2.     <!--  指定 MapReduce 程序运行在 Yarn 上  -->
  3.     <property>
  4.         <name>mapreduce.framework.name</name>
  5.         <value>yarn</value>
  6.     </property>
  7.     <!--  历史服务器端地址  -->
  8.     <property>
  9.         <name>mapreduce.jobhistory.address</name>
  10.         <value>hadoop101:10020</value>
  11.     </property>
  12.     <!--  历史服务器 web 端地址  -->
  13.     <property>
  14.         <name>mapreduce.jobhistory.webapp.address</name>
  15.         <value>hadoop101:19888</value>
  16.     </property>
  17. </configuration>

5、配置workers

  1. hadoop101
  2. hadoop102
  3. hadoop103

6、修改配置hadoop-env.sh

  1. export JAVA_HOME=/usr/local/jdk1.8.0_131
  2. export HADOOP_HOME=/usr/local/hadoop-2.3.1
  3.  
  4.  
  5.  
  6. export HDFS_NAMENODE_USER=root
  7. export HDFS_DATANODE_USER=root
  8. export HDFS_JOURNALNODE_USER=root
  9. export HDFS_ZKFC_USER=root
  10. export HDFS_SECONDARYNAMENODE_USER=root
  11. export YARN_RESOURCEMANAGER_USER=root
  12. export YARN_NODEMANAGER_USER=root

四、分发文件

scp -r /usr/local/hadoop-3.2.1 hadoop102:/usr/local

scp -r /usr/local/hadoop-3.2.1 hadoop103:/usr/local

五、启动服务

在各个 JournalNode 节点上（每台虚拟机），输入以下命令启动 journalnode 服务

hdfs --daemon start journalnode

node1上格式化namenode
hdfs namenode -format

node1上启动namenode
hdfs --daemon start namenode

在 [nn2,nn3] 上，同步 nn1 的元数据信息
hdfs namenode -bootstrapStandby

在node1节点上格式化ZKFC
hdfs zkfc -formatZK

node1节点上启动HDFS和Yarn
start-dfs.sh
start-yarn.sh

到此hadoop高可用集群搭建就完成了。

六、查看服务

jps

查看yarn服务状态

yarn rmadmin  -getAllServiceState

yarn rmadmin -getServiceState rm1

zkCli.sh 客户端查看 ResourceManager 选举锁节点内容：

get -s /yarn-leader-election/cluster-yarn1/ActiveStandbyElectorLock

七、常见问题解决

1、高可用下提示Operation category READ is not supported in state standby

hadoop fs -ls / 

总提示

hadoop fs -ls /

2022-12-06 02:02:22,062 INFO retry.RetryInvocationHandler: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error

        at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:98)

        at org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.checkOperation(NameNode.java:2021)

        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkOperation(FSNamesystem.java:1449)

        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getFileInfo(FSNamesystem.java:3183)

        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getFileInfo(NameNodeRpcServer.java:1173)

解决办法：

手动将活跃的namenode切换到第一台

hdfs haadmin -failover nn3 nn1

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/421824
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号