HDFS、Zookeeper知识总结_hdfs zkfc -formatzk

1、大数据服务器安装规范
系统硬盘
两块硬盘做一个RAID1
引导分区 200M
交换分区 可以不设置或设置的很小，因为在大数据中需要将其关闭
根分区 /（所有的空间）
数据硬盘
多个硬盘，每个硬盘独立挂载，有多少个硬盘，挂载多少个目录
数据硬盘优先不做RAID，必须做时，做RAID0

	做RAID:	优点：数据的读写效率略高
					缺点：不支持热插拔。一个硬盘损坏，整个服务器需要全部关机再能处理																																																	该硬盘。

	不做RAID:	优点：支持热插拔。硬盘损坏即把即插，不用关机。
						缺点：数据的读写效率略低。
1
2
3
4
5

2、Hadoop内部组成
HDFS: 海量数据的存储
MapReduce: 海量数据的离线计算
Yarn: 集群资源调度

3、HDFS全称
Hadoop Distribute File System 即 Hadoop分布式文件系统。
主要作用：即存储海量数据
为什么能存储海量数据？？
因为服务器多、磁盘多,可存储的空间更大大，而且支持扩展

4、HDFS组成部分
管理者 NameNode 集群中有1-2个 用于管理集群中的工作者
工作者 DataNode 集群中有多个 用于存储计算数据
辅助管理者 SecondaryNameNode 集群中有0-1 只负责辅助NameNode管理工作

5、HDFS存储数据的方式
以数据块的方式存储数据。默认一个数据块128M，该数值可以修改。
注意：这里的128仅仅是切分数据的阈值。
一个大的数据被切分成多个小的128M的数据块，分别存储在集群多个节点的不同位置。
数据副本机制默认是3份。
一个数据存储到HDFS后，数据自动复制两份，共三份（三分相同的数据-数据冗余）

6、数据副本存放机制
第一个副本在客户端所在的节点（客户端也是集群内的节点），若客户端在集群外，那么根据一定的计算规则选一个节点。
第二份副本，在与第一份相同机柜，且不在同一个服务器的节点上。
第三份与第一份第二份不在同一个机柜，且逻辑距离（网络拓扑）最近的机柜选择一个节点存储。

7、什么是名字空间
名字空间：HDFS文件系统的目录树，目录结构。

8、NameNode的作用
1）、维护目录树。
2）、负责确定指定的文件块到具体的Datanode结点的映射关系。（在客户端与Datanode之间共享数据）
3）、管理Datanode结点的状态报告

9、D