HDFS对比HBase、Hive对比Hbase_hive hdfs hbase

HDFS对比HBase、Hive对比Hbase

1 HDFS

HDFS是一个非常适合存储大型文件的分布式文件系统

HDFS它不是一个通用的文件系统，也无法在文件中快速查询某个数据

2 HBase

HBase构建在HDFS之上，并为大型表提供快速记录查找(和更新)

HBase内部将大量数据放在HDFS中名为「StoreFiles」的索引中，以便进行高速查找

Hbase比较适合做快速查询等需求，而不适合做大规模的OLAP应用

3 Hive对比Hbase

3.1 Hive

• 数据仓库工具

Hive的本质其实就相当于将HDFS中已经存储的文件在MySql中做了一个双射关系，以方便使用HQL去管理查询

• 用于数据分析、清洗

Hive适用于离线的数据分析和清洗，延迟较高

• 基于HDFS、MapReduce

Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行

3.2 HBase

• NoSQL数据库

是一种面向列存储的非关系型数据库。

• 用于存储结构化和非结构化的数据

适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作。

• 基于HDFS

数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进行管理

• 延迟较低，接入在线业务使用

面对大量的企业数据，HBase可以直线单表大量数据的存储，同时提供了高效的数据访问速度

4 总结Hive与HBase

Hive和Hbase是两种基于Hadoop的不同技术

Hive是一种类SQL的引擎，并且运行MapReduce任务

Hbase是一种在Hadoop之上的NoSQL的Key/value数据库

这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也 可以从Hive写到HBase，或者从HBase写回Hive