HBase的架构、数据存储结构和进阶原理（读写流程、Flush、StoreFile合并、预分区、Region拆分与合并）详解_向hbase写入文件时,哪个组件负责将文件拆分成块

目录

一、HBase架构

1、Client

2、Zookeeper

3、HMaster（类似NameNode）

4、HRegionServer（类似DataNode）

5、HDFS

6、HRegion

7、Store

8、HFile

9、MemStore

10、WAL（Write-Ahead logs）

11、HBase Meta表

二、HBase数据存储结构

1、RowKey（行键）

2、Column Family（列族）

3、Cell（单元）

4、TimeStamp（时间戳）

5、NameSpace（命名空间）

三、HBase进阶原理

1、写流程

2、读流程

3、MemStore Flush

4、StoreFile Compact合并机制

5、HBase表的预分区

6、Region 拆分

7、Region 合并

---

一、HBase架构

从图中可以看出，HBase是由Client、Zookeeper、HMaster、HRegionServer、HDFS等几个组件组成。

下面介绍一下几个组件的相关功能：

1、Client

Client包含了访问HBase的接口，另外Client还维护了对应的cache来加速HBase的访问，比如cache的.META元数据的信息。

2、Zookeeper

HBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。具体工作如下：

• 通过Zookeeper来保证集群中只有1个master在运行，如果master异常，会通过竞争机制产生新的master提供服务
• 通过Zookeeper来监控RegionServer的状态，当RegionServer有异常的时候，通过回调的形式通知master、RegionServer上下线的信息
• 通过Zookeeper存储元数据的统一入口地址

3、HMaster（类似NameNode）

master节点的主要职责如下：

• 为RegionServer分配Region
• 维护整个集群的负载均衡
• 维护集群的元数据信息
• 发现失效的Region，并将失效的Region分配到正常的RegionServer上
• 当RegionServer失效的时候，协调对应Hlog的拆分

4、HRegionServer（类似DataNode）

HregionServer直接对接用户的读写请求，是真正的“干活”的节点。它的功能概括如下：

• 管理master为其分配的Region, 一个HRegionServer会负责管理很多个region
• 处理来自客户端的读写请求
• 负责和底层HDFS的交互，存储数据到HDFS
• 负责Region变大以后的拆分
• 负责Storefile的合并工作

5、HDFS

HDFS为HBase提供最终的底层数据存储服务，同时为HBase提供高可用（Hlog存储在HDFS）的支持，具体功能概括如下：

• 提供元数据和表数据的底层分布式存储服务
• 数据多副本，保证的高可靠和高可用性

6、HRegion

HBase表的分片，HBase表会根据RowKey值被切分成不同的HRegion存储在RegionServer中，每个HRegion会分散在不同的RegionServer中，但一个HRegion是不会拆分到多个RegionServer上的。 HRegion是Hbase中分布式存储和负载均衡的最小单元。

7、Store

每个HRegion由多个Store构成，每个Store由一个MemStore和0或多个StoreFile组成，每个Store保存一个Columns Family。

8、HFile

这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。HRegion虽然是分布式存储的最小单元，但并不是存储的最小单元。StoreFile是以HFile的形式存储在HDFS的。

HFile的格式参考如下：

HFile分为六个部分：

• Data Block 段–保存表中的数据，这部分可以被压缩
• Meta Block 段 (可选的)–保存用户自定义的kv对，可以被压缩。
• File Info 段–Hfile的元信息，不被压缩，用户也可以在这一部分添加自己的元信息。
• Data Block Index 段–Data Block的索引。每条索引的key是被索引的block的第一条记录的key。
• Meta Block Index段 (可选的)–Meta Block的索引。
• Trailer– 这一段是定长的。保存了每一段的偏移量，读取一个HFile时，会首先读取Trailer，Trailer保存了每个段的起始位置(段的Magic Number用来做安全check)，然后，DataBlock Index会被读取到内存中，这样，当检索某个key时，不需要扫描整个HFile，而只需从内存中找到key所在的block，通过一次磁盘io将整个 block读取到内存中，再找到需要的key。DataBlock Index采用LRU机制淘汰。

HFile的Data Block，Meta Block通常采用压缩方式存储，压缩之后可以大大减少网络IO和磁盘IO，随之而来的开销当然是需要花费cpu进行压缩和解压缩。目标HFile的压缩支持两种方式：Gzip，Lzo。

9、MemStore

memstore是一块内存区域，写入的数据会先写入memstore进行缓冲，然后再把数据刷到磁盘 。内存存储存当前的数据操作，所以当数据保存在WAL中之后，RegsionServer会在内存中存储键值对。

10、WAL（Write-Ahead logs）

当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

11、HBase Meta表

HBase有一个叫做Meta的特殊的目录表，用于保存集群中Regions的位置信息（Region列表）。ZooKeeper存储着Meta表的位置。

二、HBase数据存储结构

1、RowKey（行键）

与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式：

1）通过单个RowKey访问(get)

2）通过RowKey的range（正则）(like)

3）全表扫描(scan)

RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序(byte order)排序存储。设计RowKey时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)