Hadoop 教程 - Hadoop YARN High Availability（HA）高可用集群

Hadoop YARN的高可用性（High Availability, HA）设计旨在确保YARN集群即使在关键组件失败的情况下也能持续提供服务，从而减少服务中断的风险。以下是如何配置和理解Hadoop YARN HA的关键步骤和概念：

1. 基础概念

• ResourceManager (RM): YARN中的主控组件，负责作业调度和资源分配。在HA模式下，会配置两个或更多ResourceManager，其中一个处于活动状态（Active），其余作为备用（Standby）。

• ZooKeeper: 通常用于协调RM之间的状态切换，决定哪个ResourceManager是活跃的，并同步必要的状态信息。

• Fencing: 防止“脑裂”现象，确保任何时候只有一个ResourceManager处于活动状态，通常通过ZooKeeper或其他机制实现。

2. 配置步骤

a. 安装并配置ZooKeeper

• 确保ZooKeeper集群已经安装并正确配置，因为它是YARN HA中状态共享和故障检测的核心组件。

b. 配置ResourceManager HA

• yarn-site.xml: 在所有ResourceManager节点上修改此配置文件，以启用HA并指定ZooKeeper的地址。

  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>my-cluster</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>zk-node1:2181,zk-node2:2181,zk-node3:2181/yarn-leader-election</value>
  </property>
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
  16

• 分别配置每个ResourceManager的地址和ID：

  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>rm-host1</value>
  </property>
  <!-- 对rm2重复上述配置 -->
  1
  2
  3
  4
  5

c. 配置NodeManager

• 在所有NodeManager节点上，确保它们知道所有ResourceManager的地址，可通过配置yarn.resourcemanager.address为RM的逻辑地址（HA模式下使用RM的逻辑名称）。

d. 配置客户端

• 客户端也需要指向ResourceManager的逻辑地址，而不是直接指向某个特定的RM实例。

3. 启动和验证

• 启动ZooKeeper集群。
• 依次启动所有ResourceManager和NodeManager。
• 使用YARN命令验证HA配置是否生效，比如检查所有RM的状态，模拟故障转移等。

4. 故障转移

• 当Active ResourceManager发生故障时，ZooKeeper会自动触发故障转移过程，将一个Standby ResourceManager提升为Active状态，确保服务连续性。

通过以上步骤，可以构建一个高度可靠的YARN集群，有效应对单点故障，提高整体系统的稳定性和可用性。