day1-hadoop伪分布式集群配置

1.安装jdk
（1）上传JDK安装包
进入Linux操作系统中存放应用安装包的目录/export/software/（该目录需提前创建），然后执行rz -bey命令将JDK安装包上传到虚拟的/export/software/目录下。
注意：若无法执行rz命令，可先安装文件传输工具lrzsz，安装命令：

yum install lrzsz -y
1

（2）通过解压缩的方式安装JDK，将JDK安装到存放应用的录/export/servers/（该目录需提前创建），具体命令如下

tar -xzvf /export/software/jdk-8u161-linuxx64.tar.gz -C /export/servers/
1

（3）配置JDK环境变量
执行vi /etc/profile命令编辑系统环境变量文件profile，在文件末尾添加如下内容

export JAVA_HOME=/export/servers/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
1
2
3

（4）上述内容添加完毕后，保存系统环境变量文件profile并退出。不过此时配置内容尚未生效，还需要执行source/etc/profile命令使配置内容生效。

source /etc/profile
1

（5）JDK环境验证
执行java -version命令查看当前系统环境的JDK版本。
2.关闭防火墙
查看防火墙状态：

firewall -cmd --state
1

停止防火墙服务：

systemctl stop firewalld
1

禁用防火墙服务，确保其在系统重新启动后不会自动启动

systemctl disable firewalld
1

3.Hadoop 伪分布集群安装
下面开始在 1 台 linux 虚拟机上开始安装 Hadoop3 伪分布环境，在这里我使用 hadoop3.2.0 版本：hadoop-3.2.0.tar.gz

（1）把 hadoop-3.2.0.tar.gz 安装包上传到 linux 机器的/export/software/ 目录下
利用xftp传到目录下
（2）解压 hadoop 安装包到/export/servers目录下

tar -zxvf -C hadoop-3.2.0.tar.gz /export/servers
1

（3）进入配置文件所在目录

cd /export/servers/hadoop-3.2.0/etc/hadoop
1

（4）先创建/export/data/hadoop_repo/logs/hadoop日志目录

su mkdir -p /export/data/hadoop_repo/logs/hadoop
1

（5）修改 hadoop-env.sh 文件，增加环境变量信息

export JAVA_HOME=/export/servers/jdk1.8.0_161
export HADOOP_LOG_DIR=/export/data/hadoop_repo/logs/hadoop

1
2
3

（6）修改 core-site.xml 文件（fs.defaultFS写自己的ip地址）

vi /export/servers/hadoop-3.2.0/etc/hadoop/core-site.xml   （后面到yarn-site.xml，文件地址都是这个，只需修改文件名）
1

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://192.168.88.131:9000</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/export/data/hadoop_repo</value>
   </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

（7）修改 hdfs-site.xml 文件，把 hdfs 中文件副本的数量设置为 1，因为现在伪分布集群只有一个节点

<configuration>
    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>
</configuration>
1
2
3
4
5
6

（8）修改 mapred-site.xml，设置 mapreduce 使用的资源调度框架

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6

（9）修改 yarn-site.xml，设置 yarn 上支持运行的服务和环境变量白名单

<!-- Site specific YARN configuration properties -->
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   <property>
       <name>yarn.nodemanager.env-whitelist</name>
       <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
   </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

（10）格式化 namenode

cd /export/servers/hadoop-3.2.0

bin/hdfs namenode -format
1
2
3

如果在后面的日志信息中能看到这一行，则说明 namenode 格式化成功。
common.Storage: Storage directory xxx has been successfully
formatted.

（11）修改start-dfs.sh文件（在hadoop-3.2.0/sbin目录下），在文件前面增加如下内容

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
1
2
3
4

（12）修改stop-dfs.sh文件（在hadoop-3.2.0/sbin目录下），在文件前面增加如下内容

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
1
2
3
4

（13）修改 start-yarn.sh文件（在hadoop-3.2.0/sbin目录下），在文件前面增加如下内容

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
1
2
3

（14）修改stop-yarn.sh 文件（在hadoop-3.2.0/sbin目录下），在文件前面增加如下内容

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
1
2
3

（15）启动 hadoop 集群

sbin/start-all.sh
1

（16）验证集群进程信息

执行 jps 命令可以查看集群的进程信息，除了jps 这个进程之外还需要有 Datanode、Namenode、NodeManager、RescourceManager、SecondaryNameNode这5 个进程才说明集群是正常启动的

还可以通过 webui 界面来验证集群服务是否正常:

hdfs webui 界面：http://虚拟机IP:9870
yarn webui 界面：http://虚拟机IP:8088

（17）停止hadoop集群

sbin/stop-all.sh
1