Hadoop完全分布式集群搭建详细图文教程_完成配置完全分布式模式虚拟机的图片

本文所使用的环境及版本：

• CentOS Linux release 7.9.2009 (Core)
• jdk1.8.0_291
• hadoop-3.2.2

一、安装模板机

1、安装CentOS 7.9并配置网络

注意：在安装虚拟机时建议分配50G以上的磁盘容量，避免后期磁盘不够用需手动扩容的麻烦

关于CentOS 7.X 的安装参照这篇文章：VMware安装CentOS 7.8详细图文教程（含网络配置）

2、安装 epel-release

注：Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包，适用于 RHEL、CentOS 和 Scientific Linux。（相当于是一个软件仓库，大多数 rpm 包在官方 repository 中是找不到的）

[root@hadoop100 ~]# yum install -y epel-release
1

3、由于本教程安装的是最小系统，所以还需要安装一些工具包

3.1、net-tool：工具包集合，包含 ifconfig 等命令

[root@hadoop100 ~]# yum install -y net-tools
1

3.2、vim：编辑器

[root@hadoop100 ~]# yum install -y vim
1

4、关闭防火墙

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
1
2

5、创建一个普通用户

注意： 若在安装时已经创建过普通用户，可以直接使用之前创建过的普通用户，也可以根据此步骤再创建一个普通用户，用户名为sumu，密码为123456（用户名和密码自定义）

[root@hadoop100 ~]# useradd sumu
[root@hadoop100 ~]# passwd 123456
1
2

6、配置 sumu 用户具有 root 权限，方便后期加 sudo 执行执行 root 权限的命令

[root@hadoop100 ~]# vim /etc/sudoers
1

注意：

• 在 %wheel ALL=(ALL) ALL 这一行的下面添加 sumu ALL=(ALL) NOPASSWD:ALL（此处的sumu为要赋予权限的用户）
• sumu 这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，你先配置了 sumu 具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回需要密码。所以 sumu 要放到%wheel 这行下面。
  

7、在/opt 目录下创建文件夹，并修改所属主和所属组

1）在/opt 目录下创建 module 和 software 文件夹（software 用于存放软件安装包，而 module 用于存放解压后的文件包）

[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software
1
2

2）修改 module、software 文件夹的所属主和所属组均为 sumu 用户

[root@hadoop100 ~]# chown sumu:sumu /opt/module
[root@hadoop100 ~]# chown sumu:sumu /opt/software
1
2

3）查看 module、software 文件夹的所有者和所属组

8、安装 rsync（后面用于执行集群分发脚本）

[root@hadoop100 opt]# yum install -y rsync
1

• 启动 rsync 并设置开机自启

[root@hadoop100 opt]# systemctl start rsyncd.service
[root@hadoop100 opt]# systemctl enable rsyncd.service
1
2

• 检查是否启动成功

[root@hadoop100 opt]# netstat -lnp|grep 873
1

• 修改rsyncd.conf配置文件，保存退出

[root@hadoop100 opt]# vim /etc/rsyncd.conf
1

# 运行RSYNC守护进程的用户
uid = root
# 运行RSYNC守护进程的组
gid = root
#不使用chroot
use chroot = no
# 最大连接数为4
max connections = 4
# CentOS7中yum安装不需指定pid file 否则报错
# pid file = /var/run/rsyncd.pid
# 指定锁文件
lock file=/var/run/rsyncd.lock
# 指定日志文件
log file = /var/log/rsyncd.log
exclude = lost+found/
transfer logging = yes
# 超时时间
timeout = 900
# 同步时跳过没有权限的目录
ignore nonreadable = yes
# 传输时不压缩的文件
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

• 重启rsync

[root@hadoop100 opt]# systemctl restart rsyncd.service
1

9、卸载CentOS自带的JDK

[root@hadoop100 opt]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
1

注意：本教程使用的是最小系统默认没有JDK，所以不用执行此命令

10、重启虚拟机

[root@hadoop100 ~]# reboot
1

二、克隆虚拟机

利用上面的模板机，克隆三台虚拟机：node101、node102、node103。（注意：克隆时需要先关闭模板机）

1、克隆步骤如下：

1.1、先关闭模板机，然后鼠标右键点击 模板机，接着点击管理，再点击克隆

1.2、选择 虚拟机中的当前状态，然后点击下一步

1.3、选择 创建完整克隆，然后点击下一步

1.4、输入虚拟机名称和选择虚拟机存储的位置，然后点击完成，等待克隆完成点击关闭即可

2、主机名和IP分配（根据自己的需求分配）

3、修改主机名、静态IP地址、UUID以及hosts文件

3.1、输入uuidgen获取UUID，并将其复制下来

[root@node101 ~]# uuidgen
1

3.2、修改 UUID 和 IP地址

[root@node101 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
1

3.3、修改主机名

[root@node101 ~]# vi /etc/hostname
1

3.4、修改主机名称映射文件（hosts）

[root@node101 ~]# vi /etc/hosts
1

3.5、重启虚拟机

[root@node101 ~]# reboot
1

三、安装JDK与Hadoop

1、使用FTP工具上传jdk和hadoop文件包上传至虚拟机中

2、查看 /opt/software目录下否是有刚上传的文件

3、将JDK解压至 /opt/module/ 目录下

[sumu@node101 software]$ tar -zxvf jdk-8u291-linux-x64.tar.gz -C /opt/module/
1

4、进入解压后的目录

# 进/opt/module/目录
[sumu@node101 software]$ cd /opt/module/
# 查看jdk是否解压成功
[sumu@node101 module]$ ls
# 进jdk解压后的目录
[sumu@node101 module]$ cd jdk1.8.0_291/
# 查看当前路径（将当前路径复制下来配置到Java的环境变量中，避免手动输入有误）
[sumu@node101 jdk1.8.0_291]$ pwd
1
2
3
4
5
6
7
8

5、配置JDK的环境变量

5.1、通过查看profile文件，可以看到系统会将/etc/profile.d/目录下的所有.sh后缀的文件遍历加载到环境变量中

5.2、所以可以在 /etc/profile.d/ 目录下自己创建一个 dev_env.sh 文件，并加入以下内容

[sumu@node101 ~]$ sudo vim /etc/profile.d/dev_env.sh
1

5.3、加入以下内容，JAVA_HOME后面为jdk的安装目录

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin
1
2
3

5.4、保存退出后，刷新一下/etc/profile文件，使新的环境变量PATH生效

[sumu@node101 ~]$ source /etc/profile
1

5.5、检查JDK是否安装成功，能看到相关版本信息即安装成功

[sumu@node101 ~]$ java -version
1

5.6、如果刷新profile文件后仍无法查看java版本信息，可以重启虚拟机后再试，若还是没成功请检查环境变量中jdk的安装目录是否正确

6、安装Hadoop

6.1、解Hadoop解压至/opt/module/目录下

[sumu@node101 software]$ tar -zxvf hadoop-3.2.2.tar.gz -C /opt/module/
1

6.2、进解压后的目录，获取路径

# 进/opt/module/目录
[sumu@node101 software]$ cd /opt/module/
# 查看hadoop是否解压成功
[sumu@node101 module]$ ls
# 进hadoop解压后的目录
[sumu@node101 module]$ cd hadoop-3.2.2/
# 查看当前路径（将当前路径复制下来配置到Hadoop的环境变量中，避免手动输入有误）
[sumu@node101 hadoop-3.2.2]$ pwd
1
2
3
4
5
6
7
8

6.3、配置环境变量

[sumu@node101 hadoop-3.2.2]$ sudo vim /etc/profile.d/dev_env.sh
1

6.4、在文件中添加以下内容，并存并退出

# HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
1
2
3
4

6.5、刷新一下/etc/profile文件，使新的环境变量PATH生效

[sumu@node101 hadoop-3.2.2]$ source /etc/profile
1

6.6、检测Hadoop是否安装成功

[sumu@node101 hadoop-3.2.2]$ hadoop version
1

注意： 如果刷新profile文件后仍无法使用hadoop命令，可以重启虚拟机后再试，若还是没成功请检查环境变量中hadoop的安装目录是否正确

四、完全分布式集群搭建

1、编写集群分发脚本xsync

1.1、scp（secure copy）安全拷贝

scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

1.1.1、基础语法

scp     -r      $pdir/$fname           $user@$host:$pdir/$fname
命令    递归     需拷贝的文件路径/名称     目标用户@主机:目标路径/名称
1
2

1.1.2、常用操作

• 在A节点中，将A节点的文件拷贝至B节点

# 在node101中，将node101中的 /opt/module/jdk1.8.0_291 目录拷贝至node102中
[sumu@node102 ~]$ scp -r /opt/module/jdk1.8.0_291 sumu@node102:/opt/module/
1
2

• 在B节点中，将A节点的文件拷贝至B节点中

# 在node102中，将node101中的 /opt/module/hadoop-3.2.2 目录拷贝至node102中
[sumu@node102 ~]$ scp -r sumu@node101:/opt/module/hadoop-3.2.2 /opt/module/
1
2

• 在B节点中，将A节点的文件拷贝至C节点中

# 在node102中，将node101中的 /opt/module 目录下的所有文件及目录拷贝至node103中
[sumu@node102 ~]$ scp -r sumu@node101:/opt/module/* sumu@node103:/opt/module
1
2

1.2、rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync与scp的区别：rsync只针对有差异的文件做更新，而scp则将所有文件做更新。

1.2.1、基本语法

rsync     -av        $pdir/$fname           $user@$host:$pdir/$fname
命令      选项参数     需拷贝的文件路径/名称     目标用户@主机:目标路径/名称
1
2

1.2.2、选项参数说明：

2、编写脚本文件

2.1、将脚本放在声明了全局环境变量的路径中（方便在任何路径下都能使用）

# 查看全局环境变量路劲
[sumu@node101 ~]$ echo $PATH
1
2

可以看到当前用户（sumu）下的bin目录属于全局环境变量路径

2.2、在/home/sumu目录下创建bin目录

[sumu@node101 ~]$ mkdir bin
1

2.3、在/home/sumu/bin目录下创建xsync脚本，并加入如下内容

[sumu@node101 bin]$ vim xsync
1

注意修改主机名

#!/bin/bash
 
#1. 判断参数个数 
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in node101 node102 node103
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，逐个发送
    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

2.4、赋予xsync脚本可执行权限

[sumu@node101 bin]$ chmod +x xsync
1

2.5、测试xsync脚本（同步bin目录至其他节点）

[sumu@node101 ~]$ xsync bin/
1

• 到node102和node103中查看是否同步成功
  
  

2.6、同步分发jdk的环境变量

[sumu@node101 ~]$ sudo ./bin/xsync /etc/profile.d/dev_env.sh
1

3、配置免密登录

3.1、生成公钥与私钥

[sumu@node101 ~]$ ssh-keygen -t rsa
1

3.2、将公钥拷贝至本机以及其他节点中

[sumu@node101 ~]$ ssh-copy-id node101
[sumu@node101 ~]$ ssh-copy-id node102
[sumu@node101 ~]$ ssh-copy-id node103
1
2
3

3.3、分别在node102和node103两台服务器上重复3.1和3.2的操作，使所有服务器之间可以免密登录

3.4、验证免密登录

[sumu@node101 ~]$ ssh node101
[sumu@node101 ~]$ ssh node102
[sumu@node101 ~]$ ssh node103
1
2
3

4、集群配置

4.1、集群部署规划

注意：NameNode、SecondaryNameNode和ResourceManager很耗内存资源，建议不要配置在同一节点上

4.2、修改核心配置文件

[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/etc/hadoop/
[sumu@node101 hadoop]$ vim core-site.xml
1
2

在<configuration></configuration>标签中添加如下配置

<!-- 指定 NameNode 的地址 --> 
<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://node101:8020</value> 
</property> 

<!-- 指定 hadoop 数据的存储目录 --> 
<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/opt/module/hadoop-3.2.2/data</value> 
</property> 

<!-- 配置 HDFS 网页登录使用的静态用户为 sumu --> 
<property> 
    <name>hadoop.http.staticuser.user</name> 
    <value>sumu</value> 
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

4.3、修改HDFS配置文件

[sumu@node101 hadoop]$ vim hdfs-site.xml
1

在<configuration></configuration>标签中添加如下配置

<!-- NameNode web 端访问地址--> 
<property> 
    <name>dfs.namenode.http-address</name> 
    <value>node101:9870</value> 
</property> 
<!-- SecondaryNameNode web 端访问地址--> 
<property> 
    <name>dfs.namenode.secondary.http-address</name> 
    <value>node103:9868</value> 
</property>
1
2
3
4
5
6
7
8
9
10

4.4、修改YARN配置文件

[sumu@node101 hadoop]$ vim yarn-site.xml
1

在<configuration></configuration>标签中添加如下配置

<!-- 指定 MR 走 shuffle --> 
<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 

<!-- 指定 ResourceManager 的地址--> 
<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>node102</value> 
</property> 

<!-- 环境变量的继承 --> 
<property> 
    <name>yarn.nodemanager.env-whitelist</name> 
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> 
</property>
<!-- 开启日志聚集功能 --> 
<property> 
    <name>yarn.log-aggregation-enable</name> 
    <value>true</value> 
</property> 
<!-- 设置日志聚集服务器地址 --> 
<property>   
    <name>yarn.log.server.url</name>   
    <value>http://node102:19888/jobhistory/logs</value> 
</property> 
<!-- 设置日志保留时间为 7 天 --> 
<property> 
    <name>yarn.log-aggregation.retain-seconds</name> 
    <value>604800</value> 
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

4.5、修改MapReduce配置文件

[sumu@node101 hadoop]$ vim mapred-site.xml
1

在<configuration></configuration>标签中添加如下配置

<!-- 指定 MapReduce 程序运行在 Yarn 上 --> 
<property> 
    <name>mapreduce.framework.name</name> 
    <value>yarn</value> 
</property>
<!-- 历史服务器端地址 --> 
<property> 
    <name>mapreduce.jobhistory.address</name> 
    <value>node101:10020</value> 
</property> 

<!-- 历史服务器 web 端地址 --> 
<property> 
    <name>mapreduce.jobhistory.webapp.address</name> 
    <value>node101:19888</value> 
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

4.6、修改workers配置文件

[sumu@node101 hadoop]$ vim workers
1

注意： 文件中添加的内容结尾不能有空格，文件中也不能有空行。

4.7、将以上配置文件同步分发至其他节点

[sumu@node101 ~]$ xsync /opt/module/hadoop-3.2.2/etc/hadoop/
1

5、启动集群

5.1、如果集群是第一次启动，在要在node101节点格式化NameNode

[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/
[sumu@node101 hadoop-3.2.2]$ hdfs namenode -format
1
2

格式化过程中没有报错，并且成功创建了如下图data和logs则格式化成功

注意：

• 格式化NameNode会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到以往的数据；
• 如果集群在运行过程中报错，需要重新格式化NameNode的话，需要先停止NameNode和DataNode进程，并且需要删除所有节点的data和logs目录，然后再进行格式化；

5.2、启动HDFS

[sumu@node101 hadoop-3.2.2]$ sbin/start-dfs.sh
1

查看每个节点启动的进程是否与集群部署规划方案一致

Web端查看HDFS的NameNode

• 浏览器访问：http://node101:9870
• 查看HDFS上存储的数据信息
  

5.3、启动YARN（配置了ResourceManager的node102节点中）

[sumu@node102 hadoop-3.2.2]$ sbin/start-yarn.sh
1

查看每个节点启动的进程是否与集群部署规划方案一致

Web端查看YARN的ResourceManager

• 浏览器访问：http://node102:8088
• 查看YARN上运行的Job信息

6、集群测试

6.1、上传文件

• 小文件上传测试

# 在HDFS根目录下创建wcinput目录
[sumu@node101 ~]$ hadoop fs -mkdir /wcinput
# 创建一个word.txt文件，并写入如下内容
[sumu@node101 ~]$ vim /opt/module/hadoop-3.2.2/wcinput/word.txt
1
2
3
4

hello hadoop hive hbase spark flink
hello hadoop hive hbase spark
hello hadoop hive hbase 
hello hadoop hive 
hello hadoop 
hello
1
2
3
4
5
6

# 将word.txt上传至HDFS的/wcinput目录中
[sumu@node101 ~]$ hadoop fs -put /opt/module/hadoop-3.2.2/wcinput/word.txt /wcinput
1
2

• 大文件上传测试

[sumu@node101 ~]$ hadoop fs -put /opt/software/jdk-8u291-linux-x64.tar.gz /
1

由于HDFS默认的存储块大小为128M，而上传的Hadoop安装包有377M，所以分为3存储块存储

HDFS文件在磁盘中的存储情况

[sumu@node101 ~]$ cd /opt/module/hadoop-3.2.2/data/dfs/data/current/BP-1865809970-192.168.198.101-1629498028805/current/finalized/subdir0/subdir0/
[sumu@node101 subdir0]$ ll
1
2

6.2、文件下载

[sumu@node101 ~]$ hadoop fs -get /hadoop-3.2.2.tar.gz ./
1

6.3、执行wordcount程序

[sumu@node101 hadoop-3.2.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /wcinput /wcoutput
1

到YARN的Web端可以查看到执行的wordcount应用

执行完后可以查看到wordcount统计的结果

6.4、查看历史服务器

• 启动历史服务器

[sumu@node101 hadoop-3.2.2]$ mapred --daemon start historyserver
1

在YARN的Web端点击执行任务的History，即可查看任务执行的历史信息


查看历史日志

7、编写Hadoop集群常用脚本

7.1、Hadoop集群启停脚本（包含HDFS、YARN、Historyserver）

# 在/home/sumu/bin目录下创建myhadoop.sh脚本，并加入如下脚本内容
[sumu@node101 bin]$ vim myhadoop.sh
1
2

#!/bin/bash 
 
if [ $# -lt 1 ] 
then 
    echo "No Args Input..." 
    exit ; 
fi 
 
case $1 in 
"start") 
        echo " =================== 启动 hadoop 集群 ===================" 
 
        echo " --------------- 启动 hdfs ---------------" 
        ssh node101 "/opt/module/hadoop-3.2.2/sbin/start-dfs.sh" 
        echo " --------------- 启动 yarn ---------------"
		ssh node102 "/opt/module/hadoop-3.2.2/sbin/start-yarn.sh" 
        echo " --------------- 启动 historyserver ---------------" 
        ssh node101 "/opt/module/hadoop-3.2.2/bin/mapred --daemon start historyserver" 
;; 
"stop") 
        echo " =================== 关闭 hadoop 集群 ===================" 
 
        echo " --------------- 关闭 historyserver ---------------" 
        ssh node101 "/opt/module/hadoop-3.2.2/bin/mapred --daemon stop historyserver" 
        echo " --------------- 关闭 yarn ---------------" 
        ssh node102 "/opt/module/hadoop-3.2.2/sbin/stop-yarn.sh" 
        echo " --------------- 关闭 hdfs ---------------" 
        ssh node101 "/opt/module/hadoop-3.2.2/sbin/stop-dfs.sh" 
;; 
*) 
    echo "Input Args Error..." 
;; 
esac
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

赋予myhadoop.sh脚本可执行权限

[sumu@node101 bin]$ chmod +x myhadoop.sh
1

7.2、编写查看集群Java进程脚本

[sumu@node101 bin]$ vim jpsall
1

#!/bin/bash
 
for host in node101 node102 node103
do 
        echo =============== $host =============== 
        ssh $host jps  
done
1
2
3
4
5
6
7

赋予jpsall脚本可执行权限

[sumu@node101 bin]$ chmod +x jpsall
1

7.3、测试脚本

7.3.1、停止集群

[sumu@node101 bin]$ myhadoop.sh stop
1

# 查看进程号
[sumu@node101 bin]$ jpsall
1
2

7.3.2、启动集群

[sumu@node101 bin]$ myhadoop.sh start
1

# 查看进程号
[sumu@node101 bin]$ jpsall
1
2

Hadoop完全分布式集群搭建教程结束啦！