Hadoop3 HA高可用集群搭建_3ha

1. linux ssh免密登陆配置

hadoop节点之间的通讯是通过ssh进行的，SSH默认都是需要密码的，开启免密钥登录会减少很多麻烦。操作很简单，两步（三步）就可以完成。

• 首先在本地生成公钥和私钥。分别在所有节点上执行：

ssh-keygen -t rsa

#后面都按回车跳过即可（三次）
# 运行结束后在 ~/.ssh/下生成两个新文件: id_rsa.pub和id_rsa

设置本机ssh免密
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
1
2
3
4
5
6
7

• 将公钥拷贝到本机和远程主机.

ssh-copy-id username@host 
or
ssh-copy-id node01
ssh-copy-id node02
……
# username是用户名  host是主机的地址
#远程主机将用户的公钥保存在 ~/.ssh/authorized_keys文件中
1
2
3
4
5
6
7

• 如果发现. Agent admitted failure to sign using the key 这个错误，还要输入密码，是ssh本身的问题.

  可以使用命令：

ssh-add   ~/.ssh/id_rsa  把私钥加进来即可

1
2

测试能否免密登陆：

[root@node01 /]# ssh node02
[root@node02 ~]# 

1
2
3

免密登陆设置成功。

2. java环境配置

vi /etc/profile

在profile文件末尾加入： 
export JAVA_HOME=/usr/share/jdk1.6.0_14 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
1
2
3
4
5
6

3. Hadoop完全分布式(full)

• 理论

并行：提升速度的关键
分布式运行
计算与数据在一起——计算向数据移动

Hadoop简介：

• 分布式存储系统HDFS （Hadoop Distributed File System ）
  分布式存储系统
  提供了 高可靠性、高扩展性和高吞吐率的数据存储服务
• 分布式计算框架MapReduce
  分布式计算框架（计算向数据移动）
  具有 易于编程、高容错性和高扩展性等优点。
• 分布式资源管理框架YARN（Yet Another Resource Management）
  负责集群资源的管理和调度

本文搭建了4虚拟机部署hadoop，可根据实际机器性能指定，搭建3台也可以，只需修改下配置即可。

• 修改4台虚拟机的hosts文件

vi /etc/hosts
加入如下：
192.168.33.101 node01
192.168.33.102 node02
192.168.33.103 node03
192.168.33.104 node04

1
2
3
4
5
6
7

• 进入node01主机，安装配置hadoop：

将hadoop解压到/opt/目录下
tar -zxvf hadoop-3.1.1.tar.gz -C /opt/

然后进入/opt/目录，删掉doc文件夹
cd /opt/hadoop-3.1.1/
rm -rf share/doc
1
2
3
4
5
6

修改hadoop配置

cd $HADOOP_HOME/etc/hadoop
vi + hadoop-env.sh
在末尾加入：
export JAVA_HOME=/usr/share/jdk8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
1
2
3
4
5
6
7

vi + core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9820</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/aaron/hadoop/full</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12

vi + hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node02:9868</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12

vi workers
删掉localhost，加入：
node02
node03
node04
1
2
3
4
5

• 再把修改配置后的hadoop分发到其他节点的相同目录下

scp /opt/hadoop-3.1.1 node02:`pwd`
scp /opt/hadoop-3.1.1 node03:`pwd`
scp /opt/hadoop-3.1.1 node04:`pwd`
1
2
3

• 启动

先在主节点namenode里进行格式化
~/sbin/hdfs namenode -format

格式化完成后再启动hadoop hdfs
~/sbin/start-dfs.sh

查看启动是否成功，分别在各个节点执行：
jps

1
2
3
4
5
6
7
8
9

4. Hadoop HDFS高可用集群搭建（HA）

4.1 安装配置zookeeper

进入主机node02，将zookeeper解压到/opt/目录下

tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/
1

修改zookeeper配置文件
cd conf/
cp zoo_sample.cfg zoo.cfg
vi + zoo.cfg
修改：
dataDir=/var/aaron/zookeeper
并在末尾加入：
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888
1
2
3
4
5
6
7
8
9
10

创建dataDir文件夹，并新建myid文件，在node02输入1
mkdir /var/aaron/zookeeper
cd /var/aaron/zookeeper
echo 1 > myid
1
2
3
4

将zookeeper分发到node03、node04，分别修改其myid文件值为2、3。
至此初步配置完成，启动3台zookeeper服务：

~/bin/zkServer.sh start
~/bin/zkServer.sh status
连接：
~/bin/zkCli.sh
1
2
3
4

4.2 安装配置hadoop HA

• 修改 hadoop-env.sh，加入：

export JAVA_HOME=/usr/share/jdk8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
1
2
3
4
5
6

• 修改 core-site.xml

<configuration>
    <!-- 指定hdfs的nameservice -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/aaron/hadoop/full</value>
    </property>
    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node02:2181,node03:2181,node04:2181</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

• 修改 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <!--指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
<!-- mycluster下面有两个NameNode，分别是nn1，nn2 -->
<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
</property>

<!-- RPC通信地址 -->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:9820</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:9820</value>
</property>
<!-- http通信地址 -->
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:9870</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:9870</value>
</property>
<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/var/aaron/hadoop/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>
        sshfence
    </value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>30000</value>
</property>
</configuration>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74

• hadoop分发到其他节点

4.3 Hadoop HDFS HA集群的启动步骤

注意：严格按照下面的启动步骤

1. 按照前面的启动方式启动zookeeper集群（分别node02、node03、node04上启动zk）
2. 启动journalnode（分别在node01、node02、node03上执行）

sbin/hdfs --daemon start journalnode

[root@node01 /]# jps
2444 JournalNode
2493 Jps
出现JournalNode则表示journalnode启动成功。
1
2
3
4
5
6

3. 格式化 HDFS
   在node01上执行命令：

hdfs namenode -format

倒数4行左右的地方，出现这一句就表示成功
common.Storage: Storage directory /home/hadoop/apps/dfs/name has been successfully formatted.

1
2
3
4
5

4. 复制 hadoop.tmp.dir 配置下的文件到node02中

必须先启动node01节点上的namenode，在node01上执行：
hdfs --daemon start namenode
jps查看namenode是否已启动
[root@node01 hadoop]# jps
2710 Jps
2444 JournalNode
2668 NameNode

然后再node02上执行：
hdfs namenode -bootstrapStandby
1
2
3
4
5
6
7
8
9
10

5. 格式化ZKFC(在node01上执行一次即可)

hdfs zkfc -formatZK

在倒数第3行提示如下内容表示成功
ha.ActiveStandbyElector: Successfully created /hadoop-ha/bi in ZK.
1
2
3
4

此时在zookeeper集群中可以查看：

[root@node04 hadoop]# zkCli.sh

[zk: localhost:2181(CONNECTED) 4] get /hadoop-ha/mycluster

cZxid = 0x100000006
ctime = Thu Dec 20 22:29:00 CST 2018
mZxid = 0x100000006
mtime = Thu Dec 20 22:29:00 CST 2018
pZxid = 0x100000006
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

6. 启动HDFS(在node01上执行)

start-dfs.sh
1

7. 访问192.168.33.101：9870、192.168.33.102：9870

5. Hadoop MapReduce、YARN 高可用集群搭建

前面搭建好HDFS后，继续在此基础上完成MapReduce、YARN的配置。

5.1 修改 mapred-site.xml

<configuration>
    <!-- 指定mr框架为yarn方式 -->
    <property>              
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6
7

5.2 修改yarn-site.xml

<configuration>
    <!-- 开启RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>

    <!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
    <value>node03</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
    <value>node04</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>node03:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>node04:8088</value>
    </property>
    <!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>node02:2181,node03:2181,node04:2181</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

5.3 修改hadoop-env.sh

在末尾加入：

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
1
2

将以上修改文件分发到其他节点相同目录。

5.4 启动yarn

• 先启动zookepper：zkServer.sh start
• 再启动hdfs：start-dfs.sh
• 启动yarn：start-yarn.sh

http://192.168.33.104:8088

6 windows本地运行调试mapreduce

• 解压hadoop包到D:/hadoop3.1目录下；
• 环境变量配置

HADOOP_HOME=C:\hadoop3.1
HADOOP_USER_NAME=root
PATH里添加%HADOOP_HOME%\bin

1
2
3
4

• lib整合
  下载bin目录，将bin下的文件覆盖到hadoop部署目录下，再将hadoop.dll 放到 C:/windows/system32下。hadoop-3.1.1对应的bin目录下载。

  • 1、 缺少winutils.exe：
    Could not locate executable null \bin\winutils.exe in the hadoop binaries
  • 2、 缺少hadoop.dll：
    Unable to load native-hadoop library for your platform… using builtin-Java classes where applicable

• 创建Configuration时加入如下代码即可再eclipse或idea里运行了，而无需打成jar包上传到linux再通过命令执行。

Configuration conf = new Configuration();
conf.set("mapreduce.app-submission.coress-paltform", "true");
conf.set("mapreduce.framework.name", "local");
1
2
3