Hadoop高可用集群搭建

一、集群节点分布。

三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。

二、hadoop高可用集群

（1）先搭建普通的hadoop集群。

 （2）修改core-site.xml文件。

            该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。

zookeeper地址就是你的三台主机名

 
cd /export/servers/hadoop-2.7.4/etc/hadoop/
vi core-site.xml
 
 
<configuration>
 
  <!-- 指定hdfs的nameservice为ns1 -->
 
  <property>
 
    <name>fs.defaultFS</name>
 
    <value>hdfs://ns1</value>
 
  </property>
 
  <!-- 指定hadoop临时目录 -->
 
  <property>
 
    <name>hadoop.tmp.dir</name>
 
    <value>/export/servers/hadoop-2.7.4/tmp</value>
 
  </property>
 
  <!-- 指定zookeeper地址 -->
 
  <property>
 
    <name>ha.zookeeper.quorum</name>
 
    <value>201914311401:2181,201914311402:2181,201914311403:2181</value>
 
  </property>
</configuration>

（3）修改hdfs-site.xml文件

         配置两台NameNode端口地址和通信方式，指定NameNode的元数据上的存放位置，开启NameNode失败自动切换以及配置sshfence（通过ssh远程登录到前一个Active NameNode并将其结束进程：

 
vi hdfs-site.xml
 
 
<configuration>
 
  <!-- 设置副本个数 -->
 
  <property>
 
    <name>dfs.replication</name>
 
    <value>2</value>
 
  </property>
 
  <!-- 设置namenode.name目录 -->
 
  <property>  
 
    <name>dfs.namenode.name.dir</name>
 
    <value>file:/export/data/hadoop/name</value>  
 
  </property> 
 
  <!-- 设置namenode.data目录 -->
 
  <property>  
 
    <name>dfs.datanode.data.dir</name>  
 
    <value>file:/export/data/hadoop/data</value>  
 
  </property> 
 
  <!-- 开启webHDFS -->
 
  <property>
 
    <name>dfs.webhdfs.enabled</name> 
 
    <value>true</value> 
 
  <!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 --> 
 
  </property>
 
  <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
 
  <property>
 
    <name>dfs.nameservices</name>
 
    <value>ns1</value>
 
  </property>
 
  <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
 
  <property>
 
    <name>dfs.ha.namenodes.ns1</name>
 
    <value>nn1,nn2</value>
 
  </property>
 
  <!-- nn1的RPC通信地址 -->
 
  <property>
 
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
 
    <value>201914311401:9000</value>
 
  </property>
 
  <!-- nn1的http通信地址 -->
 
  <property>
 
    <name>dfs.namenode.http-address.ns1.nn1</name>
 
    <value>201914311401:50070</value>
 
  </property>
 
  <!-- nn2的RPC通信地址 -->
 
  <property>
 
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
 
    <value>201914311402:9000</value>
 
  </property>
 
  <!-- nn2的http通信地址 -->
 
  <property>
 
    <name>dfs.namenode.http-address.ns1.nn2</name>
 
    <value>201914311402:50070</value>
 
  </property>
 
  <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
 
  <property>
 
    <name>dfs.namenode.shared.edits.dir</name>
 
    <value>qjournal://201914311401:8485;201914311402:8485;201914311403:8485/ns1    </value>
 
  </property>
 
  <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
 
  <property>
 
    <name>dfs.journalnode.edits.dir</name>
 
    <value>/export/data/hadoop/journaldata</value>
 
  </property>
 
  <!-- 开启NameNode失败自动切换 -->
 
  <property>
 
    <name>dfs.ha.automatic-failover.enabled</name>
 
    <value>true</value>
 
  </property>
 
  <!-- 配置失败自动切换实现方式 -->
 
  <property>
 
    <name>dfs.client.failover.proxy.provider.ns1</name>
 
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider    </value>
 
  </property>
 
  <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
 
  <property>
 
    <name>dfs.ha.fencing.methods</name>
 
     <value>
 
      sshfence
 
      shell(/bin/true)    
    </value>
 
  </property>
 
  <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
 
  <property>
 
    <name>dfs.ha.fencing.ssh.private-key-files</name>
 
    <value>/root/.ssh/id_rsa</value>
 
  </property>
 
  <!-- 配置sshfence隔离机制超时时间 -->
 
  <property>
 
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
 
    <value>30000</value>
 
  </property>
</configuration>

（4）修改mapred-site.xml文件。

     该文件是MapReduce的核心配置文件，指定MapReduce运行时框架。在etc/ hadoop/目录中默认没有该文件，将“mapred-site.xml.template ”文件复制并重命名为“mapred-site.xml”。打开mapred-site.xml文件进 行修改
 

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<configuration>
 
  <!-- 指定mapreduce框架为yarn方式 -->
 
  <property>
 
    <name>mapreduce.framework.name</name>
 
    <value>yarn</value>
 
  </property>
 
</configuration>

（5）修改yarn-site.xml文件。

      本文件是YARN框架的核心配置文件，开启ResourceManager高可用，指定ResourceManager的端口名称地址，并配置Zookeeper集群地址。打开该配置 文件，添加如下配置内容。

<configuration>
 
  <property>
 
    <name>yarn.nodemanager.resource.memory-mb</name>
 
    <value>2048</value>
 
  </property>
 
  <property>
 
    <name>yarn.scheduler.maximum-allocation-mb</name>
 
    <value>2048</value>
 
  </property>
 
  <property>
 
    <name>yarn.nodemanager.resource.cpu-vcores</name>
 
    <value>1</value>
 
  </property>
 
  <!-- 开启RM高可用 -->
 
  <property>
 
    <name>yarn.resourcemanager.ha.enabled</name>
 
    <value>true</value>
 
  </property>
 
  <!-- 指定RM的cluster id -->
 
  <property>
 
    <name>yarn.resourcemanager.cluster-id</name>
 
    <value>yrc</value>
 
  </property>
 
  <!-- 指定RM的名字 -->
 
  <property>
 
    <name>yarn.resourcemanager.ha.rm-ids</name>
 
    <value>rm1,rm2</value>
 
  </property>
 
  <!-- 分别指定RM的地址 -->
 
  <property>
 
    <name>yarn.resourcemanager.hostname.rm1</name>
 
    <value>201914311401</value>
 
  </property>
 
  <property>
 
    <name>yarn.resourcemanager.hostname.rm2</name>
 
    <value>201914311402</value>
 
  </property>
 
  <!-- 指定zk集群地址 -->
 
  <property>
 
    <name>yarn.resourcemanager.zk-address</name>
 
    <value>201914311401:2181,201914311402:2181,201914311403:2181</value>
 
  </property>
 
  <property>
 
    <name>yarn.nodemanager.aux-services</name>
 
    <value>mapreduce_shuffle</value>
 
  </property>
 
</configuration>

（6）修改slaves文件。

      该文件用于记录Hadoop集群所有从节点（HDFS的DatalNode和YARN的 NodeManager所在主机）的主机名，用来配合一键启动脚本启动集群从节点（关联节点需要提前配置了SSH免密登录）。打开该配置文件，先删除里面的内容， 然后输入你自己的三台主机名。

（7）修改hadoop-env.sh文件

       进入到主节点hadoop01解压包下的etc/hadoop/目录，使用“vi hadoop-env.sh”指令打 开其中的hadoop-env.sh文件，找到JAVA_HOME参数位置进行修改（注意JDK路径，你自己的路径是什么就改成什么）。

 三、分发文件

scp -r /export/servers/hadoop-2.7.4/ 201914311402:/export/servers/
 
scp -r /export/servers/hadoop-2.7.4/ 201914311403:/export/servers/
 
 

四、启动hadoop高可用集群

（1）启动集群各个节点的Zookeeper服务

cd /export/servers/zookeeper-3.4.10/bin
 
zkServer.sh start

（2）启动集群各个节点监控NameNode的管理日志的JournalNode

hadoop-daemon.sh start journalnode

（3）在node-01节点格式化NameNode

hadoop namenode –format

（4）将格式化后的目录分发给node-02中

scp -r /export/data/hadoop 201914311402:/export/data/

（5）在node-01节点上格式化ZKFC

hdfs zkfc -formatZK

（6）node-01节点上启动HDFS和Yarn

start-dfs.sh
 
start-yarn.sh

到此hadoop高可用集群搭建就完成了。