YARN-HA高可用环境搭建_yarn-ha 实现高可用的思路

YARN-HA高可用环境搭建

1.YARN HA实现原理

*启动两个ResourceManager后分别向Zookeeper注册，通过Zookeeper管理他们的状态，一旦状态为Active的ResourceManager无法正常提供服务，Zookeeper将会立即将状态为StandBy的ResourceManager切换为Active。

2.YARN HA高可用集群搭建

2.1.配置YARN（yarn-site.xml）

配置完成以后，要将配置好的文件分发到集群的其他机器上。

rsync -rvl /usr/local/hadoop/etc/hadoop/* hadoop@hadoop103:/usr/local/hadoop/etc/hadoop
rsync -rvl /usr/local/hadoop/etc/hadoop/* hadoop@hadoop104:/usr/local/hadoop/etc/hadoop
1
2

<configuration> 
  <!-- 配置Reduce取数据的方式是shuffle-->  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <!-- 开启日志聚集 -->  
  <property> 
    <name>yarn.log-aggregation-enable</name>  
    <value>true</value> 
  </property>  
  <!-- 设置日志的删除时间 -1:禁用,单位为秒 -->  
  <property> 
    <name>yarn.log-aggregation。retain-seconds</name>  
    <value>864000</value> 
  </property>  
  <!-- 设置yarn的内存大小,单位是MB -->  
  <property> 
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <value>1024</value> 
  </property>  
  <!-- 设置yarn的CPU核数 -->  
  <property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name>  
    <value>2</value> 
  </property>
  <!-- YARN HA配置 -->  
  <!-- 开启yarn ha -->  
  <property> 
    <name>yarn.resourcemanager.ha.enabled</name>  
    <value>true</value> 
  </property>  
  <!-- 指定yarn ha的名称 -->  
  <property> 
    <name>yarn.resourcemanager.cluster-id</name>  
    <value>cluster1</value> 
  </property>  
  <!-- 分别指定两个ResourceManager的名称 -->  
  <property> 
    <name>yarn.resourcemanager.ha.rm-ids</name>  
    <value>rm1,rm2</value> 
  </property>  
  <!-- 分别指定两个ResourceManager的地址 -->  
  <property> 
    <name>yarn.resourcemanager.hostname.rm1</name>  
    <value>192.168.1.80</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.hostname.rm2</name>  
    <value>192.168.1.81</value> 
  </property>  
  <!-- 分别指定两个ResourceManager的Web访问地址 -->  
  <property> 
    <name>yarn.resourcemanager.webapp.address.rm1</name>  
    <value>192.168.1.80:8088</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.webapp.address.rm2</name>  
    <value>192.168.1.81:8088</value> 
  </property>  
  <!-- 配置使用的Zookeeper集群 -->  
  <property> 
    <name>yarn.resourcemanager.zk-address</name>  
    <value>192.168.1.80:2181,192.168.1.81:2181,192.168.1.82:2181</value> 
  </property>  
  <!-- ResourceManager Restart配置 -->  
  <!-- 启用ResourceManager的restart功能,当ResourceManager重启时将会保存运行时信息到指定的位置,重启成功后再进行读取 -->  
  <property> 
    <name>yarn.resourcemanager.recovery.enabled</name>  
    <value>true</value> 
  </property>  
  <!-- ResourceManager Restart使用的存储方式(实现类) -->  
  <property> 
    <name>yarn.resourcemanager.store.class</name>  
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
  </property>  
  <!-- ResourceManager重启时数据保存在Zookeeper中的目录 -->  
  <property> 
    <name>yarn.resourcemanager.zk-state-store.parent-path</name>  
    <value>/rmstore</value> 
  </property>  
  <!-- NodeManager Restart配置 -->  
  <!-- 启用NodeManager的restart功能,当NodeManager重启时将会保存运行时信息到指定的位置,重启成功后再进行读取 -->  
  <property> 
    <name>yarn.nodemanager.recovery.enabled</name>  
    <value>true</value> 
  </property>  
  <!-- NodeManager重启时数据保存在本地的目录 -->  
  <property> 
    <name>yarn.nodemanager.recovery.dir</name>  
    <value>/usr/local/hadoop/data/rsnodemanager</value> 
  </property>  
  <!-- 配置NodeManager的RPC通讯端口 -->  
  <property> 
    <name>yarn.nodemanager.address</name>  
    <value>0.0.0.0:45454</value> 
  </property> </configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97

ResourceManager Restart使用的存储方式(实现类)
1.ResourceManager运行时的数据保存在ZK中：

org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
1

2.ResourceManager运行时的数据保存在HDFS中：

org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore
1

3.ResourceManager运行时的数据保存在本地：

org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore
1

*使用不同的存储方式将需要额外的配置项，可参考官网，
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html

2.2 启动YARN HA高可用集群

1.在ResourceManager所在节点中启动YARN集群

2.手动启动另一个ResourceManager

*当启动YARN HA集群后，可以分别访问ResourceManager管理页面，http://192.168.1.80:8088、http://192.168.1.81:8088。
访问状态为StandBy的ResourceManager时，会将请求重定向到状态为Active的ResourceManager的管理页面。

2.3.模拟ResourceManager宕机，手动杀死进程

*Zookeeper在一定时间内无法接收到状态为Active的ResourceManager发送的心跳时，将会立即将状态为StandBy的ResourceManager切换为Active。