Hadoop之Ha高可用搭建教程_启动hadoop高可用集群_hadoop高可用搭建步骤

—slave2

6.启动并查看zookeeper状态

位置：cd /usr/local/src/zookeeper/bin
启动：./zkServer.sh start
状态：./zkServer.sh status

----master

----Slave1

----Slave2

zookeeper配置完成！

四、配置HA高可用

1.解压hadoop安装包

tar -zxvf hadoop-3.2.2.tar.gz -C /usr/local/src 

1
2

2.添加环境变量

export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

1
2
3

3.修改配置文件

位置：/usr/local/src/hadoop/etc/hadoop
（1）core-site.xml

<configuration>
<!-- hdfs分布式文件系统名字/地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!--存放namenode、datanode数据的根路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/loal/src/hadoop/data</value>
    </property>
    <!-- 存放journalnode数据的地址 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/loal/src/hadoop/data/jn</value>
    </property>
    <!-- 列出运行 ZooKeeper 服务的主机端口对 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
 </property>
</configuration>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

（2）hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
    <value>3</value>
</property>
<!-- 服务的逻辑名称,使用mycluster替换master:9000作为逻辑名称 -->
<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
</property>
<!-- 两个namenode的名称 -->
<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2,nn3</value>
</property>
<!-- 两个namenode的rpc通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>master:8020</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>slave1:8020</value>
</property>
 <property>
    <name>dfs.namenode.rpc-address.mycluster.nn3</name>
    <value>slave2:8020</value>
</property>
<!-- web访问端口 -->
<property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>master:9870</value>
</property>

<property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>slave1:9870</value>
</property>
<property>
    <name>dfs.namenode.http-address.mycluster.nn3</name>
    <value>slave2:9870</value>
</property>

<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
</property>
<!-- 切换namenode代理类 -->
<property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<!-- 关闭权限检查 -->
<property>
    <name>dfs.permissions.enable</name>
    <value>false</value>
</property>
<!-- 通过SSH连接到Active NameNode并终止进程 -->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
</property>

<!-- 隔离机制 -->
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>
<!-- 启动自动故障转移机制 -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
</configuration>


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78

(3) hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

1
2

(4) workers

master
slave1
salve2

1
2
3
4

(5)start-dfs.sh 和 stop-dfs.sh

位置：/usr/local/src/hadoop/sbin

HDFS_NAMENODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_SECONDARYNAMENODE_USER=root

1
2
3
4
5
6
7

4.分发配置文件

scp -r hdfs-site.xml root@slave2:/usr/local/src/hadoop/etc/hadoop

1
2

5.1启动JournalNode

hdfs --daemon start journalnode

1
2

5.2安装自动转移机制包

yum -y install psmisc

1
2

如果不安装这个程序包，自动转移故障机制无法进行 fence。
其他的 Standby 状态的NameNode 不能自动切换为 Active状态。

6.1初始化namenode

在初始化前要先启动三台节点的zookeeper，并关闭防火墙 systemctl stop firewalld

hdfs namenode -format

1
2

6.2格式化zookeeper

hdfs zkfc -formatZK

1
2

判断初始化是否成功：zkCli.sh

7.1启动集群

mater上执行：（只需执行一次）

hdfs --daemon start namenode

1
2

slave1上执行：（只需执行一次）

hdfs namenode -bootstrapStandby

1
2

在mater上启动集群：

./start-dfs.sh

1
2

7.2查看进程

最终实现效果

五、常见问题

经常有小伙伴在启动完集群后发现zkfc(DFSZKFailoverController)进程没有或是启动失败的情况

解决办法：
步骤一：先去关闭hadoop集群
步骤二：重新格式化zookeeper（注意：在格式化时要先启动zookeeper）
步骤三：重新启动hadoop集群

六、故障转移检测

实现当杀掉第一台节点master后active状态会自动转移到第二台节点slave1或slave2上，且被杀掉的节点页面便不可访问

kill -9 进程号  (这里的进程号就是namenode的进程号，如 kill -9 14607)

1
2

七、HA启动脚本

#!/bin/bash  
  
if [ $# -lt 1 ]; then  
    echo "No Args Input..."  
    exit 1;  
fi  
  
case $1 in  
"start")  
    echo "----------启动zookeeper----------"  
    for i in master slave1 slave2; do  
        echo "---------- zookeeper $i 启动 ------------"  
        ssh $i "/usr/local/src/zookeeper/bin/zkServer.sh start" && echo "Zookeeper $i 启动成功"  
    done  
    echo "---------- 启动hdfs------------"  
    ssh master "/usr/local/src/hadoop/sbin/start-dfs.sh" && echo "HDFS 启动成功"  
    echo "---------- hadoop HA启动成功------------"  
    ;;  
"stop")  
    echo "----------关闭hdfs----------"  
    ssh master "/usr/local/src/hadoop/sbin/stop-dfs.sh" && echo "HDFS 关闭成功"  
    echo "----------关闭zookeeper----------"  
    for i in master slave1 slave2; do  
        echo "---------- zookeeper $i 停止 ------------"  
        ssh $i "/usr/local/src/zookeeper/bin/zkServer.sh stop" && echo "Zookeeper $i 停止成功"  
    done  
    echo "---------- hadoop HA停止成功------------"  
    ;;  
"status")  
    echo "----------检查zookeeper状态----------"  
    for i in master slave1 slave2; do  
        echo "---------- zookeeper $i 状态 ------------"  
        ssh $i "/usr/local/src/zookeeper/bin/zkServer.sh status"  


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/85abdeb95678f2a67381816913e99c96.png)
![img](https://img-blog.csdnimg.cn/img_convert/92e29a48edbe12295a15f8821247d0b9.png)
![img](https://img-blog.csdnimg.cn/img_convert/be0f541b3ce5250c1eb07199c36c62ac.png)
![img](https://img-blog.csdnimg.cn/img_convert/0b647e126cacd88e589a5b9bd305ee95.png)
![img](https://img-blog.csdnimg.cn/img_convert/5870a035df26b67ef38f0027ade739b1.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/eb17236718752aa22895c8b5b35450c2.png)

..(img-vRZO9Kt0-1712838492424)]
[外链图片转存中...(img-fXVpHHJU-1712838492425)]
[外链图片转存中...(img-vATcz4wg-1712838492425)]
[外链图片转存中...(img-jjqALivX-1712838492425)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-XuW9SemF-1712838492426)]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65