03：hadoop目录结构以及web UI介绍_hadoop文件系统 设计ui

1.hadoop安装目录

进入安装好的目录

bin 目录：存放对 Hadoop 相关服务（HDFS，Yarn，MapReduce）进行操作的脚本

etc 目录：Hadoop 的配置文件目录，存放 Hadoop 癿配置文件；

lib 目录：存放 Hadoop 的本地库（对数进行压缩，解压缩功能）；

sbin 目录：存放或启动 Hadoop 相关服务的脚本；

share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例。

logs目录:有对应节点 服务的日志信息，查看以 .log 结尾的文件即可

2.根据日志查看问题

第一步:进入安装hadoop的目录文件

Logs 目录中，有对应节点 服务的日志信息，查看以 .log 结尾的文件即可。

cd /opt/module/hadoop-3.1.3/logs
-
#查看都有哪些日志
ll
1
2
3
4

第二步:查看日志

查看日志，不建议用 cat，因为日志比较多，我们看起来很难，所以可以用 tail，比如：查看 NameNode 日志的后 100 行

tail -100  hadoop-root-namenode-hd01.log
-
注意查看只以.log结尾的文件
1
2
3

第三步:根据日志解决问题

（1)日志在三个节点都有，哪个节点的服务有问题，就到对应节点的 logs 中查看对应服务的日志。

(2)根据日志解决问题

3.hadoop的web UI介绍

1.HDFS页面介绍

在浏览器上输入namenode的主机ip:9870

overview页面

Datanodes页面

Startup progress

Browse the file system

2.yarn页面介绍

作用：主要查看提交刡 到arn 上的一些任务，可以查看仸务的状态和日志信息

将resource manager的主机ip加上8088，在浏览器中访问

All applications

Scheduler 调度器

4.查看程序的历史运行情况

1.在某台主机上启动历史服务器

这台主机就是我们想要查看的主机,如我们在A主机中启动

 mapred --daemon start historyserver
1

2.查看启动情况

再输入jps查看进程是否启动

jps
-
出现jobhistoryserver即可
1
2
3

3.查看 JobHistory

登录浏览器，http://主机ip:19888/jobhistory/app

4.查看任务运行日志

5.查看日志运行详情

5.创建快照

（1）HDFS 快照以目录为单位进行操作。

（2）以下路径均指 HDFS 路径

(3)快照的功能是做数据报错用，就像照片一样，保存当时的状态

1.开启指定目录的快照功能

hdfs dfsadmin -allowSnapshot 指定目录路径
1

2.禁用指定目录的快照功能（默认就是禁用状态）

hdfs dfsadmin -disallowSnapshot 路径
1

3.给某个指定路径创建快照

hdfs dfs -createSnapshot 指定路径 [快照名]
1

注：如果不写快照名，系统会自动命名。

4.获取当前路径的所有快照目录

hdfs lsSnapshottableDir
1

5.获取同一路径下两个快照的差异报告

hdfs snapshotDiff 路径 快照名 1 快照名 2
1

6.恢复快照

hdfs dfs -cp -ptopax 快照路径 恢复路径
1

7.删除快照

hdfs dfs -deleteSnapshot 路径 快照名
1

8.实操

第一步：开启允许的快照功能

hdfs dfsadmin -allowSnapshot /input
-
input是HDFS系统上的
1
2
3

第二步: 在数据所在目录下创建快照

hdfs dfs -createSnapshot /input
1

注：快照会被保存在.snapshot 子目录下（该目录为隐藏目录），无法在 shell 还是 WebUI中查看隐藏文件|目录，其信息都要手劢输入

第三步:恢复快照

hdfs dfs -cp -ptopax /input/.snapshot /input1
1

将快照恢复到HDFS系统上的/input1目录下