YARN集群搭建_yarn 集群搭建

本文主要是记录集群搭建流程，具体细节较为简略

一、YARN简介

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

二、集群规划

三、搭建集群

1. 修改主机名以及host映射并重启机器
2. 配置ssh免密登录
3. 配置JAVA环境变量
4. 安装Hadoop
   (1). 修改hadoop-env.sh
   (2). 修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop11:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/zhangjia/hadoop-2.9.2/data</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

(3). 修改hdfs-site.xml
不需要修改，默认配置即可
(4). 修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6

(5). 修改yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop12</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

(6). 配置slaves文件

hadoop11
hadoop12
hadoop13
1
2
3

(7). 格式化NameNode

hdfs namenode -format
1

(8). 启动HDFS集群

start-dfs.sh
1

(9). 启动YARN集群(只可以在ResourceManager节点启动)

start-yarn.sh
1

(10). 可以在 http://hadoop12:8088查看当前YARN启动情况