Hadoop 3.x（入门搭建+安装调优）(二-HDFS)_hadoop3 blockplacementpolicydefault找不到

P39 HDFS课程介绍

P40 HDFS产生背景和定义

多台服务器存储其中 一部分
HDFS不能进行修改，上传来的文件只能追加

P41 HDFS优缺点

每个文件块占150字节，内存128G，算下来能存9亿个文件

P42 HDFS组成

namenode管理谁在什么位置，块的存储信息，处理客户端读写请求


2nn并非namenode热备，当namenode宕机后，并不能马上替换namenode服务。只是辅助namenode，分担工作量，定期 合并fsimage和edits

P43 HDFS文件块大小

默认配置在HDFS-default里，128M

寻址时间为传输时间的1%，就是最佳状态，为什么是128M，因为1秒能传输的数据，普通硬盘算下来差不多就是100MB/S,如果速度快，可以设置256M

P44 HDFS_shell 命令上传

命令跟linux相近

首先需要把集群启动起来

可以查看具体命令如何使用



创建一个文件


本地上传到HDFS，

move代表剪切，本地文件会消失


copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去

put：等同于copyFromLocal，生产环境更习惯用put


appendToFile：追加一个文件到已经存在的文件末尾，HDFS不能随机修改，只能在文件末尾修改

P45 HDFS_shell命令下载和直接操作

-copyToLocal：从HDFS拷贝到本地

get：等同于copyToLocal，生产环境更习惯用get，下载的时候可以改个名字

cat查看文件

-chgrp、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

mkdir：创建路径
cp：从HDFS的一个路径拷贝到HDFS的另一个路径

mv：在HDFS目录中移动文件

tail：显示一个文件的末尾1kb的数据

-rm：删除文件或文件夹

-rm -r：递归删除目录及目录里面内容

-du统计文件夹的大小信息,27b大小，有三个副本，总大小就是81

**-setrep：设置HDFS中文件的副本数量，节点只有3个的时候，配置10个副本，那么后面加入节点会自动新增一个副本，3个节点最多3个副本 **


副本策略是 距离最近

P45-54

API操作

P55 HDFS写数据流程

HDFS客户端要传文件，需要是分布式的文件系统 类型，因为HDFS客户端有很多类型。
发送数据的时候，传送的是一个个packet对象，，另外还会从内存中拷贝一份 做ack机制，当节点 应答不成功 ，再从ack传一份过去

P56 HDFS节点距离计算

在判断数据写到具体哪个节点的时候，首要考虑节点距离再负载均衡

节点距离：两个节点到达最近的共同祖先的距离总和。

P57 机架感知（副本存储节点选择）

客户端要写数据，请求给namenode，namenode根据什么返回写多少个节点

机架感知（副本存储节点选择）
1）机架感知说明
（1）官方说明
http://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication

（2）源码说明
Crtl + n 查找BlockPlacementPolicyDefault，在该类中查找chooseTargetInOrder方法。

选择目标节点

0代表第一个副本，选择本地
第二个选择remoterack

P58 HDFS读数据流程

HDFS客户端创建一个分布式文件系统对象和namenode交涉读取数据，namenode判断 权限，返回目标文件的 元数据信息。
客户端创建FSdataINPutstream流数据对象，去读数据，去距离最近的datanode1读数，假如datanode1负载已经满了，将请求转发给datanode2.
数据块是串行读，读完一块读 下一块

P59 namenode和secondary namenode工作机制

edit不修改，只追数据

镜像文件 数据+edits相关追加操作=内存，服务器一启动就会将这些数据加载到内存，服务器关机就 会将镜像文件和edits合并。
2nn也会定期合并数据

namenode下就有镜像和edits文件

2nn也有


namenode这个inprogress是记录新的操作，2nn是没有的

P61 HDFS_FsImage镜像 文件

namenode和datanode集群版本id是一致的

<inode>
	<id>16386</id>
	<type>DIRECTORY</type>
	<name>user</name>
	<mtime>1512722284477</mtime>
	<permission>atguigu:supergroup:rwxr-xr-x</permission>
	<nsquota>-1</nsquota>
	<dsquota>-1</dsquota>
</inode>
<inode>
	<id>16387</id>
	<type>DIRECTORY</type>
	<name>atguigu</name>
	<mtime>1512790549080</mtime>
	<permission>atguigu:supergroup:rwxr-xr-x</permission>
	<nsquota>-1</nsquota>
	<dsquota>-1</dsquota>
</inode>
<inode>
	<id>16389</id>
	<type>FILE</type>
	<name>wc.input</name>
	<replication>3</replication>
	<mtime>1512722322219</mtime>
	<atime>1512722321610</atime>
	<perferredBlockSize>134217728</perferredBlockSize>
	<permission>atguigu:supergroup:rw-r--r--</permission>
	<blocks>
		<block>
			<id>1073741825</id>
			<genstamp>1001</genstamp>
			<numBytes>59</numBytes>
		</block>
	</blocks>
</inode >
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

这里 记录了所有文件存储的信息

父节点和子节点，仿照目录

namenode不会存储文件的块具体放在那里，而是datanode主动汇报

P61 HDFS_Edits编辑日志

<?xml version="1.0" encoding="UTF-8"?>
<EDITS>
	<EDITS_VERSION>-63</EDITS_VERSION>
	<RECORD>
		<OPCODE>OP_START_LOG_SEGMENT</OPCODE>
		<DATA>
			<TXID>129</TXID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ADD</OPCODE>
		<DATA>
			<TXID>130</TXID>
			<LENGTH>0</LENGTH>
			<INODEID>16407</INODEID>
			<PATH>/hello7.txt</PATH>
			<REPLICATION>2</REPLICATION>
			<MTIME>1512943607866</MTIME>
			<ATIME>1512943607866</ATIME>
			<BLOCKSIZE>134217728</BLOCKSIZE>
			<CLIENT_NAME>DFSClient_NONMAPREDUCE_-1544295051_1</CLIENT_NAME>
			<CLIENT_MACHINE>192.168.10.102</CLIENT_MACHINE>
			<OVERWRITE>true</OVERWRITE>
			<PERMISSION_STATUS>
				<USERNAME>atguigu</USERNAME>
				<GROUPNAME>supergroup</GROUPNAME>
				<MODE>420</MODE>
			</PERMISSION_STATUS>
			<RPC_CLIENTID>908eafd4-9aec-4288-96f1-e8011d181561</RPC_CLIENTID>
			<RPC_CALLID>0</RPC_CALLID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
		<DATA>
			<TXID>131</TXID>
			<BLOCK_ID>1073741839</BLOCK_ID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
		<DATA>
			<TXID>132</TXID>
			<GENSTAMPV2>1016</GENSTAMPV2>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ADD_BLOCK</OPCODE>
		<DATA>
			<TXID>133</TXID>
			<PATH>/hello7.txt</PATH>
			<BLOCK>
				<BLOCK_ID>1073741839</BLOCK_ID>
				<NUM_BYTES>0</NUM_BYTES>
				<GENSTAMP>1016</GENSTAMP>
			</BLOCK>
			<RPC_CLIENTID></RPC_CLIENTID>
			<RPC_CALLID>-2</RPC_CALLID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_CLOSE</OPCODE>
		<DATA>
			<TXID>134</TXID>
			<LENGTH>0</LENGTH>
			<INODEID>0</INODEID>
			<PATH>/hello7.txt</PATH>
			<REPLICATION>2</REPLICATION>
			<MTIME>1512943608761</MTIME>
			<ATIME>1512943607866</ATIME>
			<BLOCKSIZE>134217728</BLOCKSIZE>
			<CLIENT_NAME></CLIENT_NAME>
			<CLIENT_MACHINE></CLIENT_MACHINE>
			<OVERWRITE>false</OVERWRITE>
			<BLOCK>
				<BLOCK_ID>1073741839</BLOCK_ID>
				<NUM_BYTES>25</NUM_BYTES>
				<GENSTAMP>1016</GENSTAMP>
			</BLOCK>
			<PERMISSION_STATUS>
				<USERNAME>atguigu</USERNAME>
				<GROUPNAME>supergroup</GROUPNAME>
				<MODE>420</MODE>
			</PERMISSION_STATUS>
		</DATA>
	</RECORD>
</EDITS >
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87

查看 edits，只进行修改，不进行合并修改

P62 HDFS_检查点时间 设置

P63 HDFS_DN工作机制

meta存储的是块相关的校验和其他信息，上一个是真实的存储的数据

datanode启动后会主动 向namenode回报自己有哪些块信息，namenode收到消息，确认datanode注册成功，datanode每周期上报所有块信息，namenode每三秒发一次心跳



（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
（4）集群运行中可以安全加入和退出一些机器。

HDFS数据完整性

1个数加起来是偶数就为0，奇数就为1，传输过程中有可能数据出现问题

做一个简单文件上传到hdfs

下载到D盘，开启校验
16机制查看，会有一个crc校验码

P65 HDFS掉线时限参数设置

3秒一次心跳，10次正好30秒

把104关闭

仍然是绿色，显示正常运行，但是通信时间超过6秒了

超过10+30秒就挂掉了

恢复节点

现在节点就恢复了

P66 HDFS总结