当前位置:   article > 正文

七、Hadoop系统应用之搭建Hadoop高可用集群(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)_hadoop高可用搭建步骤

hadoop高可用搭建步骤

Hadoop集群搭建前安装准备参考:
一、Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
一、Hadoop系统应用之安装准备(二)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
Hadoop集群搭建过程参考:
二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

一、Hadoop高可用集群简介

在高可用HDFS中,通常有两台或两台以上机器充当NameNode,无论何时,都要保证至少有一台处于活动(Active)状态,一台处于备用(Standby)状态。Zookeeper为HDFS集群提供自动故障转移的服务,给每个NameNode都分配一个故障恢复控制器(简称ZKFC),用于监控NameNode状态。若NameNode发生故障,Zookeeper通知备用NameNode启动,使其成为活动状态处理客户端请求,从而实现高可用。

前面搭建的Hadoop集群部署情况如下所示。
在这里插入图片描述

HDFS的高可用集群是由三台虚拟机部署,具体部署情况如下所示。
在这里插入图片描述

二、Hadoop高可用集群的搭建

1、重新布置三个服务器

在服务器的Hadoop集群的搭建过程中,可参考前面提供的操作实验文档:
一、Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
一、Hadoop系统应用之安装准备(二)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
注意,为了方便跟前面搭建的集群进行区分,需要做以下调整:

  1. 三个节点的名称分别设为node-01、node-02和node-03;
  2. 网络配置时将三个服务器的hostname修改为node-01、node-02和node-03;
  3. 设置IP映射时,可将node-01设为192.168.121.137,node-02设为192.168.121.138,node-03设为192.168.121.139。

2、安装Zookeeper

具体操作,可参考前面提供的操作实验文档:
六、Hadoop系统应用之Zookeeper分布式协调服务(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
注意事项:

  1. 将三个服务器的hostname修改为node-01、node-02和node-03;
  2. 在配置文件zoo.cfg时,将对应内容设置为:
server.1=node-01:2888:3888 
server.2=node-02:2888:3888
server.3=node-03:2888:3888 
  • 1
  • 2
  • 3
  1. 安装完成后,依次在三个节点上使用如下指令关闭防火墙与防火墙开机启动。
service iptables stop 
chkconfig iptables off
  • 1
  • 2

3、修改core-site.xml文件

使用如下指令进入相关路径并修改此文件:

cd /export/servers/hadoop-2.7.4/etc/hadoop
vi core-site.xml
  • 1
  • 2

将文件内容修改为如下部分:

<configuration>
	<!--指定hdfs的nameservice为node1-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>
	<!--指定hadoop临时目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.4/tmp</value>
	</property>
	<!--指定zookeeper地址-->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>node-01:2181,node-02:2181,node-03:2181</value>
	</property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

4、修改hdfs-site.xml文件

指令如下:

vi hdfs-site.xml
  • 1

将文件内容修改为如下部分:

<configuration>
        <!--设置副本个数-->
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <!--设置namenode.name目录-->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/export/data/hadoop/name</value>
        </property>
        <!--设置datanode.data目录-->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/export/data/hadoop/data</value>
        </property>
        <!--开启webHDFS-->
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
                <!--在namenode和datanode上开启webHDFS(REST API)功能,不是必须-->
        </property>
        <!--指定hdfs的nameservice为ns1-->
        <property>
                <name>dfs.nameservices</name>
                <value>ns1</value>
        </property>
        <!--ns1下有两个NameNode,分别是nn1,nn2-->
        <property>
                <name>dfs.ha.namenodes.ns1</name>
                <value>nn1,nn2</value>
        </property>
        <!--nn1的RPC通信地址-->
        <property>
                <name>dfs.namenode.rpc-address.ns1.nn1</name>
                <value>node-01:9000</value>
        </property>
        <!--nn1的http通信地址-->
        <property>
                <name>dfs.namenode.http-address.ns1.nn1</name>
                <value>node-01:50070</value>
        </property>
        <!--nn2的RPC通信地址-->
        <property>
                <name>dfs.namenode.rpc-address.ns1.nn2</name>
                <value>node-02:9000</value>
        </property>
        <!--nn2的http通信地址-->
        <property>
                <name>dfs.namenode.http-address.ns1.nn2</name>
                <value>node-02:50070</value>
        </property>
        <!--指定NameNode的元数据在JournalNode上的存放位置-->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://node-01:8485;node-02:8485;node-03:8485/ns1</value>
        </property>
        <!--指定JournalNode在本地磁盘存放数据的位置-->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/export/data/hadoop/journaldata</value>
        </property>
        <!--开启NameNode失败自动切换-->
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <!--配置失败自动切换实现方式-->
        <property>
                <name>dfs.client.failover.proxy.provider.ns1</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <!--配置隔离机制方法,多个机制用换行分割,即每个机制占用一行-->
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>
                        sshfence
                        shell(/bin/true)
                </value>
        </property>
        <!--使用sshfence隔离机制时需要ssh免登录-->
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>
        <!--配置sshfence隔离机制超时时间-->
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value>30000</value>
        </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91

5、修改yarn-site.xml文件

指令如下:

vi yarn-site.xml
  • 1

将文件内容修改为如下部分:

<configuration>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.cpu-vcores</name>
                <value>1</value>
        </property>
        <!--开启RM高可用-->
        <property>
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
        </property>
        <!--指定RM的cluster id-->
        <property>
                <name>yarn.resourcemanager.cluster-id</name>
                <value>yrc</value>
        </property>
        <!--指定RM的名字-->
        <property>
                <name>yarn.resourcemanager.ha.rm-ids</name>
                <value>rm1,rm2</value>
        </property>
        <!--分别指定RM的地址-->
        <property>
                <name>yarn.resourcemanager.hostname.rm1</name>
                <value>node-01</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.rm2</name>
                <value>node-02</value>
        </property>
        <!--指定zk集群地址-->
        <property>
                <name>yarn.resourcemanager.zk-address</name>
                <value>node-01:2181,node-02:2181,node-03:2181</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47

6、修改slaves文件

node-01
node-02
node-03
  • 1
  • 2
  • 3

7、配置文件分发

将配置好的文件分发给node-02和node-03。

scp -r /export/ node-02:/
scp -r /export/ node-03:/
  • 1
  • 2

8、启动Hadoop高可用集群

(1)启动集群中各个节点的Zookeeper服务,命令如下:

cd /export/servers/zookeeper-3.4.10/bin
./zkServer.sh start
  • 1
  • 2

在这里插入图片描述

(2)启动集群各个节点监控NameNode的管理日志的JournalNode,命令如下:

hadoop-daemon.sh start journalnode
  • 1

在这里插入图片描述

(3)在node-01节点格式化Namenode,并将格式化后的目录复制到name-02中,命令如下(仅首次启动):

hadoop namenode -format
scp -r /export/data/hadoop node-02:/export/data/
  • 1
  • 2

在这里插入图片描述

(4)在node-01节点上格式化ZKFC,命令如下(仅首次启动):

hdfs zkfc -formatZK
  • 1

在这里插入图片描述

(5)在node-01上分别启动HDFS和YARN,命令如下:

start-dfs.sh
start-yarn.sh
  • 1
  • 2

在这里插入图片描述

(6)使用命令jps查看各个服务的启动情况。
node-01:
在这里插入图片描述
node-02:
在这里插入图片描述

node-03:
在这里插入图片描述

参考文献:黑马程序员.Hadoop大数据技术原理与应用[M].北京:清华大学出版社,2019.

后续Hive数据仓库应用的学习链接:
一、Hive数据仓库应用之Hive部署(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/421873
推荐阅读
相关标签
  

闽ICP备14008679号