大数据复习(第五六章)_大数据第五章第六章笔记

第五章

1.HBase
HBase是 Apache基金会的一个项目。简单来说,它是一个分布式可扩展的 NoSQL数据库,提供了对结构化、半结构化、甚至非结构化大数据的实时读写和随机访问能力。（P123）
HBase数据存储逻辑模型与 Google BigTable类似,但实现上有一些不同之处。 HBase表是一个分布式多维表,表中的数据通过一个行关键字( row key)、一个列族和列名( column,family, column name)以及一个时间戳( timestamp)进行索引和查询定位。

2.RegIon Server（P135）
Region Server是 HBase集群中具体对外提供服务的进程。它对外提供的服务有两类:
1)对数据的读写支持(get、scan、put、 delete等)。
2)对 Region的管理支持( split、 compact、load等)。

第六章

hive百科
hive （数据仓库工具）（p180）
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

1)用户接口层( Client):负责接收用户输人的指令,并将这些指令发送到Hive引擎进行数据处理。用户接口层包括命令行接口cLI(Command- Line interface)、数据库访问编程接口 JDBC/ODBC以及web界面( Web uI)。
2)元数据存储层( Metastore):用于存储Hive中的 Schema表结构信息,存储操作的数据对象的格式信息、在HDFS中的存储位置的信息以及其他的用于数据转换的信息 SerDe等。这些元数据通常是存储在关系数据库中,默认情况下使用本地的 Derby数据库,用户也可以配置使用本地或远程的支持JDBC连接的数据库,如 MySQL。
3)Hive驱动( Driver):用以将各个组成部分形成一个有机的执行系统,包括会话的处理、查询获取以及执行驱动。
4)编译器( Compiler):Hive需要一个编译器,将 HiveQL语言编译成中间语言表示。编译器包括对于 HiveQL语言的分析、执行计划的生成以及优化等工作。
5)执行引擎( Execution Engine):在 Driver的驱动下,具体完成执行操作,包括MapReduce的执行、HDFS操作或者元数据操作。
6) Hadoop数据存储及处理平台:从Hive引擎接收指令,并最终通过HDFS、 HBase,配合 MapReduce实现数据处理。
(P181)
在Hive中使用了4个主要的数据模型:表( Table)、外部表( External Table)、分区
( Partition)和桶( Bucket)。