搭建Hadoop集群（详细步骤）_hadoop集群搭建完整教程

一、创建Linux最小系统
1、安装最小系统
2、修改虚拟机的虚拟网络编辑器，
网段改为:192.168.200.0
网关为:192.168.200.2
PS:(改成自己的也可以，注意要保证自己前两段与自己设置的IP地址要保持一致，即192.168这两段要和自己IP地址保持一样，不一样，虚拟机会连不上网)
3、在windows的命令提示符下输入ipconfig查看是否有192.168.200.1的以太网适配器 VMware Network Adapter VMnet8（网络自己也可以手动设置）
二、改主机名
1、使用nmtui图形化工具配置
2、命令行配置
hostnamectl set-hostname master
三、设置静态IP

1、使用nmtui图形化工具配置
2、命令行配置
vi /etc/sysconfig/network-scripts/ifcfg-ens33
如下设置：
IPADDR=192.168.200.101
PREFIX=24
GATEWAY=192.168.200.2
DNS1=192.168.200.2
3、在windows的命令提示符下输入
ping 192.168.200.101看是否能ping通
4、在master上输入
ping www.baidu.com(需要Windows主机联外网）看是否能ping通
5、用xshell或其他的ssh工具连接
1
2
3
4
5
6
7
8
9
10
11
12
13

四、设置hosts文件

vi /etc/hosts
加入以下内容：
192.168.200.101 hadoop101
192.168.200.102 hadoop102
192.168.200.103 hadoop103
1
2
3
4
5

五、关闭并禁止防火墙

systemctl  stop 	firewalld
systemctl  disable 	firewalld
1
2

六、安装jdk1.8

**1、新建文件夹存放软件**
	mkdir /opt/soft
	复制jdk-8u171-linux-x64.tar.gz到此文件夹
**2、新建文件夹存放安装的目录**
	mkdir /usr/java
**3、解压到安装目录**
	tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C /usr/java/
**4、配置环境变量**
	修改环境变量：vi /etc/profile
	添加内容如下：
1
2
3
4
5
6
7
8
9
10

export JAVA_HOME=/usr/java/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
1
2

生效环境变量：
source /etc/profile
七、在master上配置hadoop

1、上传到 /opt/soft
2、解压
mkdir -p /opt/modul/hadoop 
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/modul/hadoop
3、配置环境变量
vi /etc/profile
加入下面内容
1
2
3
4
5
6
7

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
1
2

**保存退出后执行**
source /etc/profile
4、修改配置文件(/opt/modul/hadoop/hadoop-2.7.3/etc/hadoop/)
（1）hadoop-env.sh
vim /opt/modul/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
1
2
3
4
5

export JAVA_HOME=/usr/java/jdk1.8.0_171
1

（2）core-site.xml

vim /opt/modul/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml


修改如下
1
2
3
4
5
6

 <configuration>
	<!-- 指定hdfs的namenode为hadoop102 -->
	<property>
		<name>fs.default.name</name>
		<value>hdfs://hadoop102:8020</value>
	</property>
	<!-- 指定hadoop临时目录format时自动生成 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-3.1.3/data</value>
	</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12

（3）hdfs-site.xml
vim /opt/modul/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

修改如下：
1
2
3
4

<configuration>
<!--secondarynamenode位置定义-->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop102:9870</value>
        </property>
	<!--secondarynamenode位置定义-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop103:9868</value>
	</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12

（4）mapred-site.xml

复制生成文件
cd /opt/modul/hadoop/hadoop-2.7.3/etc/hadoop/

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

修改如下：
1
2
3
4
5
6
7
8
9
10

<configuration>
	<!-- 指定mr框架为yarn方式 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>
1
2
3
4
5
6
7

（5）yarn-site.xml

vim /usr/hadoop/hadoop-2.7.3/opt/modul/hadoop/yarn-site.xml


修改如下：
1
2
3
4
5
6

<configuration>
	<!-- 分别指定resourcemanager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop102</value>
	</property>
	<!-- 制定Nodemanager获取数据方式为shuffle方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12

**（6）slaves（datanode的位置)**
	
	vim /opt/modul/hadoop/hadoop-2.7.3/etc/hadoop/workes
	删除原有内容，修改如下：
	hadoop102
	hadoop103
	hadoop104
**八、复制生成hadoop102、hadoop103主机**
	1、克隆生成slave1
		修改hostname为hadoop102
		修改IP为192.168.200.102
	2、克隆生成slave2
		修改hostname为hadoop103
		修改IP为192.168.200.103
**九、ssh免密**
	（master执行->master|slave1|slave2）
		ssh-keygen #4个回车 生成公钥、私钥
		ssh-copy-id hadoop101
		ssh-copy-id hadoop102
		ssh-copy-id hadoop103
	同理 在slave1、slave2上执行（可以同时输入操作）
	
**十、时间同步（需要连接外网）**
	集群时间同步（3台机器）
	yum -y install ntpdate
	ntpdate ntp4.aliyun.com
十一、启动hadoop(在master上运行）
	1、初始化namenode
	hdfs namenode -format
	2、在master运行
	start-all.sh
	
**十二、查看**
	1、在hadoop101、hadoop102,hadoop103上执行jps查看进程
	2、在windows主机上输入namenodeIP+端口号
		http://192.168.200.101:50070/查看HDFS管理界面
		http://192.168.200.101:8088/查看yarn管理界面

**十三、关闭Hadoop集群**
	在master（namenode）运行
	     stop-all.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42