二、Hadoop系统应用之Hadoop集群搭建（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）_windows部署hadoop集群

Hadoop集群搭建前安装准备参考：
一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
一、Hadoop系统应用之安装准备（二）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hadoop集群搭建

1 Hadoop集群部署模式

采用完全分布模式对Hadoop集群进行部署

2 JDK安装

第一步：使用如下指令进入之前创建的用于存放安装包软件的文件夹：
cd /export/software/
之后使用指令ls查看该目录内容，可发现该目录下没有文件，然后输入rz指令（上传文件指令），可发现找不到该命令，这是由于还没有安装。

第二步：使用指令yum install lrzsz -y下载，安装该命令。

若下载失败则为之前配置的yum源失效，可尝试依次输入以下三条指令解决：

wget -O /etc/yum.repos.d/CentOS-Base.repo http://files.tttidc.com/centos6/Centos-6.repo
1

wget -O /etc/yum.repos.d/epel.repo http://files.tttidc.com/centos6/epel-6.repo
1

yum makecache
1

第三步：安装完成后输入指令rz，选择JDK安装包，进行文件的上传。
JDK

如果点击ok后没有反应就再次输入rz。
第四步：对JDK进行解压。
使用如下指令：

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/servers/
1

然后使用如下指令进入/export/servers/目录（该目录为JDK解压后的位置）：
cd /export/servers/
在该目录下，使用如下指令进行JDK重命名:
mv jdk1.8.0_161/ jdk

第五步：配置JDK环境变量。
使用如下指令进入profile文件并进行修改：
vi /etc/profile
在该文件最下方写入如下内容：

export JAVA_HOME=/export/servers/jdk
export PATH=:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
1
2
3

之后执行source /etc/profile指令使之生效，最后输入指令java -version查看是否安装成功。

3 Hadoop安装

第一步：使用如下指令进入之前创建的用于存放安装包软件的文件夹：

cd /export/software/
1

第二步：使用指令rz上传hadoop安装包。
Hadoop 2.7.4

如果点击ok后没有反应就再次输入rz。之后使用指令ls查看该目录下文件可发现已成功上传hadoop安装包。

第三步：对hadoop进行解压。
使用如下指令：

tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/
1

解压完成后查看使用指令cd /export/servers/进入该解压目录，使用指令ls查看该目录下文件可发现已存在hadoop。

第四步：配置hadoop环境变量。
使用如下指令进入profile文件并进行修改：
vi /etc/profile
在该文件最下方写入如下内容：

export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2

之后执行source /etc/profile指令使之生效，最后输入指令hadoop version查看是否安装成功。

4 Hadoop集群配置

第一步：配置Hadoop集群主节点。
在上一步的基础上，首先使用如下指令进入etc/hadoop/目录：
cd hadoop-2.7.4/etc/hadoop/
然后使用如下指令打开hadoop-env.sh文件进行修改：
vi hadoop-env.sh
在该文件中添加以下内容：

export JAVA_HOME=/export/servers/jdk
1

第二步：修改core-site.xml文件。
使用如下指令打开core-site.xml文件进行修改：
vi core-site.xml
在该文件中添加以下内容：

<configuration>
        <property>
                <name>fs.defaultFS</name>
	<value>hdfs://hadoop01:9000</value>
        </property>
       <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/servers/hadoop-2.7.4/tmp</value>
        </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

第三步：修改hdfs-site.xml文件。
使用如下指令打开hdfs-site.xml文件进行修改：
vi hdfs-site.xml
在该文件中添加以下内容：

<configuration>
         <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop02:50090</value>
        </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

第四步：修改mapred-site.xml文件。
在该文件夹下，没有mapred-site.xml文件，只有一个mapred-site.xml.template文件，通过如下指令将该文件复制并重命名为mapred-site.xml。

cp mapred-site.xml.template mapred-site.xml
1

使用如下指令打开mapred-site.xml文件进行修改：
vi mapred-site.xml
在该文件中添加以下内容：

<configuration>
<!-- 指定MapReduce运行时框架，这里指定在Yarn上，默认是local -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>
1
2
3
4
5
6
7

第五步：修改yarn-site.xml文件。
使用如下指令打开yarn-site.xml文件进行修改：
vi yarn-site.xml
在该文件中添加以下内容：

<configuration>
       <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
   <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
   <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>2048</value>
        </property>
   <property>
                <name>yarn.nodemanager.resource.cpu-vcores</name>
                <value>1</value>
        </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

第六步：修改slaves文件。
使用如下指令打开slaves文件进行修改：
vi slaves
将该文件中内容删掉，然后在该文件中添加以下内容：
hadoop01
hadoop02
hadoop03

第七步：将上述主节点hadoop01的配置内容分发给hadoop02和hadoop03上。
使用如下指令：

scp /etc/profile hadoop02:/etc/profile
1

scp /etc/profile hadoop03:/etc/profile
1

scp -r /export/ hadoop02:/
1

scp -r /export/ hadoop03:/
1

之后在另外两个节点上执行source /etc/profile指令完成配置。

参考文献：黑马程序员.Hadoop大数据技术原理与应用[M].北京：清华大学出版社,2019.

后续学习链接：
三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）