Hadoop集群基本测试_hadoop集群测试

---

1.上传小文件到集群

先确保你的Hadoop集群启动起来了：

先创建一个文件夹：


然后上传一个本地的小文件word.txt：

可以发现上传成功：

2.上传大文件到集群

传jdk到根目录：

3.执行wordcount程序

接下来执行一个wordcount程序看看yarn是怎么工作的，刚才上传数据不涉及到yarn,yarn是资源的调度，只有有mapreduce这种计算任务的时候才会执行：

来hdfs中看看数据的结果：

来看一下任务运行的页面：

4.配置历史服务器

当我们查看历史运行情况的时候，会报错，因为我们还没配置历史服务器，为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
在/opt/module/hadoop-3.1.3/etc/hadoop目录下更改mapred-site.xml文件：

vim mapred-site.xml
1

在该文件里面增加如下配置：

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>
1
2
3
4
5
6
7
8
9
10
11

然后执行分发命令，分发到103和104上：

然后启动历史服务器进程：

mapred --daemon start historyserver
1

jps一下就会发现已经启动了历史服务器进程：

我们重新上传一个文件：

上传成功后我们就可以查看历史记录了：

5.配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。
开启日志聚集功能具体步骤如下：
1.在etc/hadoop目录下配置yarn-site.xml：

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

2.分发配置：

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
1

3.在103上关闭NodeManager 、ResourceManager和HistoryServer

sbin/stop-yarn.sh
mapred --daemon stop historyserver
1
2

4.在103上：start-yarn.sh

5.在102上:mapred --daemon start historyserver

后面执行的任务就可以查看日志了,我们再执行一个任务：

点击后就可以看到了：

6.集群启动/停止方式总结

1.各个模块分开启动/停止（配置ssh是前提）常用
（1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh
1

（2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh
1

2.各个服务组件逐一启动/停止
（1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode
1

（2）启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager
1

7.编写Hadoop集群常用脚本

Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

cd /home/atxiaoyu/bin
1

vim myhadoop.sh
1

输入代码：

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

保存后推出，赋予脚本权限：

chmod +x myhadoop.sh
1

查看三台服务器Java进程脚本：jpsall

当我们想查看服务器进程时，在某一台服务器上jps出来只是这个服务器的进程，那我们如何在一台服务器上jps后其他服务器的进程也显示出来呢？

cd /home/atxiaoyu/bin
1

vim jpsall
1

输入代码：

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done
1
2
3
4
5
6
7

保存后推出，赋予脚本权限：

chmod +x jpsall
1

分发/home/atguigu/bin目录，保证自定义脚本在三台机器上都可以使用

xsync /home/atxiaoyu/bin/
1