CentOS 7 搭建 Hadoop3.3.1集群_sentos7 格式化集群 启动

1. 软件准备

jdk8: 链接: https://pan.baidu.com/s/1zIha0ks8Nokok2cQtO53rA 提取码: jd8x
hadoop3.3.1: 链接: https://pan.baidu.com/s/1Zjjnj05erfVR395yC68tfA 提取码: hd3x

2. 环境准备

集群环境: 网络为桥接模式的两个节点。一个作为 Master 节点，局域网 IP 为 192.168.3.18；另一个作为 Slave 节点，局域网 IP 为 192.168.3.14

因为是实验环境，所有没有新建 hadoop 用户，下文统一使用root用户。

CentOS系统需要关闭防火墙。 CentOS系统默认开启了防火墙，在开启 Hadoop 集群之前，需要关闭集群中每个节点的防火墙。

systemctl status firewalld.service		# 查看防火墙状态
systemctl stop firewalld.service    	# 关闭firewall
systemctl disable firewalld.service 	# 禁止firewall开机启动

vi /etc/selinux/config
SELINUX=disabled		# 最小权限原则关闭
1
2
3
4
5
6

3. 网络配置

假设集群所用的节点都位于同一个局域网。如果使用的是虚拟机安装的系统，那么需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点互连。

为了便于区分，我们在 Master 节点上分别执行如下命令修改主机名（即改为 Master，注意是区分大小写的）：

vim /etc/hostname
1

然后执行如下命令修改自己所在集群节点的IP映射：

vim /etc/hosts
1

修改完成后需要重启一下，重启后在终端中才会看到机器名的变化。

一定要在集群的所有节点上都完成网络配置。如上面讲的是 Master 节点的配置，而在其他的 Slave 节点上，也要对 /etc/hostname（修改为 Slave1、Slave2 等） 和 /etc/hosts（跟 Master 的配置一样）这两个文件进行修改！

配置好后需要在各个节点上执行如下命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功：

ping Master -c 5
ping Slave -c 5
1
2

4. 配置SSH免密登陆

首先需要明白，为什么需要配置ssh免密登录？
1. 配置完免密后，执行scp时不需要输入密码，方便快捷，非主要原因；
2. 集群安装完成后，通常在master节点执行start-all.sh脚本来启动整个集群，脚本会ssh到各个slave节点来执行启动命令。如果没有配置免密登录，那么启停集群时要手动输入很多密码，这是主要原因。

SSH的工作原理：
1. A服务器使用 ssh-key-gen 命令生成密钥对（一对秘钥，公钥和私钥）；
2. 将A服务器的公钥copy给B服务器保存起来，这个过程叫做授权；
3. 授权完成后，A服务器再访问B服务器时，会携带着用私钥加密过的数据；
4. B服务器接收到请求数据后，使用公钥解密；
5. B服务器将解密成功的信息通过公钥加密后返回给A服务器；
6. A服务器接收到数据后，使用私钥解密，解密成功后，登录成功。

首先利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
rm ./id_rsa*            # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys  # 加入授权
1
2
3
4

完成后可执行 ssh Master 验证一下。没问题的话接着在 Master 节点将上公匙传输到 Slave1 节点：

scp ~/.ssh/id_rsa.pub root@Slave:/export/tmp_files/
1

接着在 Slave 节点上，将 ssh 公匙加入授权：

mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
cat /export/tmp_files/id_rsa.pub >> ~/.ssh/authorized_keys
rm /export/tmp_files/id_rsa.pub    # 用完就可以删掉了
1
2
3

如果有其他 Slave 节点，也要执行将 Master 公匙传输到 Slave 节点、在 Slave 节点上加入授权这两步。
这样，在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了，可在 Master 节点上执行如下命令进行检验，如下图所示：

5. 安装JAVA环境

将上传到服务器的JDK解压到指定目录，自己找个目录，比如 /export/server：

tar -zxvf jdk-8u211-linux-x64.tar.gz -C /export/server
1

接着需要配置一下 JAVA_HOME 环境变量，我们直接在 /etc/profile 中进行设置并保存：

export JAVA_HOME=/export/server/jdk1.8.0_211	# 添加到文件末尾
export PATH=$PATH:$JAVA_HOME/bin	
1
2

紧接着执行如下代码，让修改的环境变量生效：

source /etc/profile
1

查看修改是否生效：

6. 安装Hadoop

将上传到服务器的 hadoop 包解压到指定目录，可以和刚才的 JAVA目录保持一致：

tar -zxvf hadoop-3.3.1.tar.gz -C /export/server
chown -R root:root /export/server/hadoop-3.3.1/	# 修改文件属组
1
2

接着需要配置一下 HADOOP_HOME 环境变量，我们还是在 /etc/profile 中进行设置并保存：

export HADOOP_HOME=/export/server/hadoop-3.3.1	# 添加到文件末尾
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2

紧接着执行如下代码，让修改的环境变量生效：

source /etc/profile
1

7. 修改Hadoop集群配置

1. 核心配置文件 core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/server/hadoop-3.3.1/tmp</value>
        </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

2. HDFS配置文件 hdfs-site.xml

注意：
1. Hadoop 2.x 版本， 访问 HDFS 端口号为 50070；Hadoop 3.x 版本， 访问 HDFS 端口号为 9870
2. dfs.replication 一般设为 3，但我们只有一个 Slave 节点，所以 dfs.replication 的值还是设为 1

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:9870</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/export/server/hadoop-3.3.1/data/namenode</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/export/server/hadoop-3.3.1/data/datanode</value>
        </property>
        <property>
                <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
                <value>false</value>
        </property>
        <property>
                <name>dfs.client.use.datanode.hostname</name>
                <value>true</value>
        </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

3. YARN 配置文件 yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

4. MapReduce 配置文件 mapred-site.xml，同时在里面配置历史服务器

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

5. 修改工作机器 workers文件（配置为从节点）：有多少个从节点这里就添加多少个

# localhost    # 集群数量足够多的话，可以不写这个 localhost，本人是因为只有一个从节点，所以把 Master 本机既当作NameNode又当做DataNode。
Slave
1
2

配置好后，将 Master 上的 /usr/local/Hadoop 文件夹复制到各个 Cluste 节点上。

8. 启动Hadoop

首次启动需要先在 Master 节点执行 NameNode 的格式化：

hdfs namenode -format       # 首次运行需要执行初始化，之后不需要
1

接着可以启动 hadoop 了，启动需要在 Master 节点上进行：

start-all.sh	# 开始所有进程
stop-all.sh		# 关闭所有进程
1
2

正常启动后会有下面几个进程，可通过 jps 命令查看：

本人的主节点（机器数量不够，只能既当 NameNode 又当 DataNode）进程：

从节点进程：

所以，Hadoop起来后，在前端页面看到的DataNode有两个。

异常排查

1. 如果启动的进程中缺少哪个服务，就去启动日志中查看具体报错： /export/server/hadoop-3.3.1/logs.
   比如 secondarynamenode 进程没起来，就看 /export/server/hadoop-3.3.1/logs/hadoop-root-secondarynamenode-Master.log 日志：
   
   报错是9870端口被占用，那就重新修改个端口号 /export/server/hadoop-3.3.1/etc/hadoop/hdfs-site.xml：
   

2. 启动报错
   
   解决：在 /export/server/hadoop-3.3.1/sbin 目录下，在 start-dfs.sh，stop-dfs.sh 这两个文件顶部添加以下参数：

   HDFS_DATANODE_USER=root
   HDFS_SECURE_DN_USER=hdfs
   HDFS_NAMENODE_USER=root
   HDFS_SECONDARYNAMENODE_USER=root
   1
   2
   3
   4

   start-yarn.sh，stop-yarn.sh顶部也需添加以下参数：

   YARN_RESOURCEMANAGER_USER=root
   HADOOP_SECURE_DN_USER=yarn
   YARN_NODEMANAGER_USER=root
   1
   2
   3

3. 环境变量异常
   
   解决：修改配置文件 /export/server/hadoop-3.3.1/etc/hadoop/hadoop-env.sh：

   export JAVA_HOME=/export/server/jdk1.8.0_211
   1

解决完所有问题后，重新执行 start-all.sh 文件即可。

9. 查看web页面

浏览器客户端访问： http://192.168.3.20:9870/

查看hdfs目录：http://192.168.3.20:9870/explorer.html