Hadoop三大组件之HDFS_hdfs的三大组件

一、HDFS（数据存储）架构概述
1.1HDFS产生背景

随着数据量越来越大，在一个操作系 统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器 上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

1.2HDFS定义

HDFS (Hadoop Distibuted File System)，它是一个文件系统，
用于存储文件，通过目录树来定位文件;其次，它是分布式的，由很多
服务器联合起来实现其功能，集群中的服务器有各自的角色。

HDFS的使用场景:适合一次写入，多次读出的场景，且不支持文件的修改。
适合用来做数据分析，并不适合用来做网盘应用。
1
2
3
4
5
6

1.3HDFS的优缺点

1）高容错性
		(1)数据自动保存多个副本。它通过增加副本的形式，提高容错性
		(2)某个副本丢失以后它可以自动恢复

2)适合处理大数据

		(1)数据规模:能够处理数据规模达到GB、TB、 甚至PB级别的数据;
		(2)文件规模:能够处理百万规模以上的文件数量,数量相当之大。

3)可构建在廉价机器上，通过多副本机制，提高可靠性。

1
2
3
4
5
6
7
8
9
10
11

1.4HDFS的缺点

1)不适合低延时数据访问，比如毫秒级的存储数据,是做不到的。

2)无法高效的对大量小文件进行存储。
	(1)存储大量小文件的话，它会占用N ameNode大量的内存来存储文件目录和块信息。
	这样是不可取的，因为NamneNode的内存总是有限的;	
	(2)小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。

3）不支持并发写入、文件的随机修改
1
2
3
4
5
6
7
8

二、HDFS的构成架构

 1.NameNode: 就是Master,它是一个主管，管理者。
		（1） 管理hdfs的名称空间。
		（2）配置副本策略。
		（3）管理数据块（block）的映射信息。
		（4） 处理客户端读写请求。
2. DataNode：就是slave。NameNode下达命令，DataNode执行实际的操作。	
		（1） 存储实际的块数据。
		（2） 执行块数据的读写操作。
3. Client： 就是客户端。
		（1）)文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block,
		（2）与NameNode交互，获取文件的位置信息;
		（3）与DataNode交互，读取或者写入数据;
		（4）Client 提供一些命令来管理HDFS，比如NameNode格式化;
		 (5) Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作;
			                                                                                                  ，，
4.Secondary NameNode:并习即ameNode的热备。当NameNode挂掉的时候不能马上替换NameNode并提供服务。
		(1)辅助NameNode,分担其工作量，比如定期和平Fsimage和Edits，并推送给NameNode:
		(2)在紧急情况下，可辅助恢复NameNode。
5.HDFS文件块大小。
		hdfs中的文件在物理上是分块存储的（block），块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小在hadoop2.0中是128M，老版本中是64M。
			1. 例如有一个集中的block块
			2. 如果寻址时间为10ms，就是查找到目标的block是10ms.
			3. 寻址的时间为传输时间的1%时，则是最佳状态。因此。传输时间=10ms/0.01=1000ms=1s
			4. 而目前磁盘的传输速度普遍为100MB/S
			5. block大小=1s*100mb/s=100mb
				5.1 为什么块的大小不能设置太小
					1.hdfs的块设置的太小，会增加寻址时间，程序一直在找块的开始位置。
					2 如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这个块数据时，会非常慢。
						-----hdfs块的大小设置主要取决于磁盘传输速率。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

三、Namenode和SecondaryNamenode的工作机制

1.第一阶段: NameNode启动

	(1)第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次
动，直接加载编辑日志和镜像文件到内存。
	(2)客户端对元数据进行增删改的请求。
	(3) NameNode记录操作日志，更新滚动日志。(4)NameNode在内存中对元数据进行增删改。

2.第二阶段: Secondary NameNode工作

	(1) Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
	(2) Secondary NameNode请求执行CheckPoint.
	(3) NameNode滚动正在写的Edits日志。
	(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
	(5) Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
	(6)生成新的镜像文件fsimage .chkpoint.
	(7)拷贝fsimage chkpoint到NameNodeo
	(8) NameNode将fsimage .chkpoint，重新命名成fsimage o
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

四、DataNode工作机制

1)一个数据块在DataNode. 上以文件形式存储在磁盘上，包括两个文件，-一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2) DataNode 启动后向NameNode往册，通过后，周期性(1 小时)的向NameNode上报所有的块信息。

3)心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到
某个DataNode的心跳，则认为该节点不可用。

4)集群运行中可以安全加入和退出一些机器。

1
2
3
4
5
6
7
8
9