第 1 章 Hive 数据仓库_hive数据仓库

1.2.1 优点

（1）操作接口采用类 SQL 语法，提供快速开发的能力（简单、容易上手）。

1）用户接口：Client

   CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBUI（浏览器访问 hive）

1.4 Hive 和数据库比较

        由于 Hive 采用了类似 SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。 数据库可以用在 Online 的应用中，但是 Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。

1.4.1 查询语言

                由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查 询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。

      1.4.2 数据更新

             由于 Hive 是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive 中 不建议对数据的改写，所有的数据都是在加载的时候确定好的。而数据库中的数据通常是需 要经常进行修改的，因此可以使用 INSERT INTO … VALUES 添加数据，使用 UPDATE … SET 修 改数据。      

       1.4.3 执行延迟

               Hive 在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导 致 Hive 执行延迟高的因素是 MapReduce 框架。由于 MapReduce 本身具有较高的延迟，因此 在利用 MapReduce 执行 Hive 查询时，也会有较高的延迟。相对的，数据库的执行延迟较低。 当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive 的并行计算显然能体现出优势

        1.4.4 数据规模

               由于 Hive 建立在集群上并可以利用 MapReduce 进行并行计算，因此可以支持很大规模 的数据；对应的，数据库可以支持的数据规模较小。

1.5 数据仓库

        数据仓库是一个面向主题的、集成的、相对稳定的、反映历史文化变化的数据集合，用于支持管理决策。

1.6 数据仓库与数据区别

数据仓库是一种结构体系，而数据库是一种具体技术。数据仓库是伴随着信息与决策支持系统的发展过程产生的。

数据库 Database (Oracle, Mysql, PostgreSQL)主要用于事务处理，

数据仓库 Datawarehouse (Amazon Redshift, Hive)主要用于数据分析。

用途上的不同决定了这两种架构的特点不同。

数据库(Database)的特点是：

• 相对复杂的表格结构，存储结构相对紧致，少冗余数据。
• 读和写都有优化。
• 相对简单的read/write query，单次作用于相对的少量数据。

数据仓库(Datawarehouse)的特点是：

• 相对简单的(Denormalized)表格结构，存储结构相对松散，多冗余数据。
• 一般只是读优化。
• 相对复杂的read query，单次作用于相对大量的数据（历史数据）。

数据仓库的所有的特性（独立不影响业务，表结构简单，读数据速度快，相对安全）

两者的对比

1、存储空间对比

从存储空间角度讲，相比于数据库紧密的存储结构，数据仓库则存在大量冗余重复的数据。

2、读写优化对比

由于数据库需要利用表之间的关联才能找到所有需要的数据，在效率上会相对低下。相比之下数据仓库把这些关联关系转化成重复数据记录到同一张表上了，查询效率相对就会较高。数据仓库相当于牺牲了空间换取了查询效率。

3、大数据读(Read)操作对比

数据仓库在查询的时候，不仅根据查询键的值来搜索对应节点位置，同时进行大量的并行查询。这使得在对大数据进行查询的时候有极大的优势。

但是，并不是所有的读操作，数据仓库一直都有优势。比如在如下两种情况时，数据仓库的读表现并不如数据库：

1. 在对小量数据进行读取操作的时候，由于数据仓库要进行找Node的location之类的预运算，整体效率上反倒不如数据库。
2. 如果读取操作的目标不是主键(PrimaryKey)或者分配键(PartitionKey)，那么数据仓库的查询也需要进行全局扫描，效率上就不好说是否胜过数据库了。

1.7 Hive的工作流程

Hive工作流程中各步骤的详细描述

1.执行查询：hive接口（如命令行或UI）通过发送查询驱动程序执行查询

2.获取计划：在驱动程序帮助下查询编译器，并分析查询检查语法、查询计划及查询要求

3.获取元数据：编译器发送原数据请求至Metastore

4.发送元数据：Metastore发生元数据至编译器以响应之

5.发送计划：编译器检查查询要求，并重新发送查询计划至驱动程序；至此，查询解析与编译完成

6.执行计划：驱动程序发送执行计划至执行引擎

7.执行任务：执行任务的过程是完成一个MapReduce工作的过程。执行引擎发送作业至JobTracker，JobTracker再把作业分配TaskTracker;在TaskTrakcer中查询计划将执行MapReduce工作。同时，执行引擎可以通过Metastore执行元数据操作

8.获取结果：执行引擎接受来自数据节点的结果

9.发送结果：执行引擎发送结果只驱动程序

10.发送结果：驱动程序发送结果至Hive接口

1.8 Hive适用场景

1.适用场景

• Hive适用于非结构化数据的离线分析统计场合
• Hive的执行延迟比较高，因此适用与对实时性要求不高的场合
• Hive的优势在于处理大数据，因此适用于大数据（而非小数据）处理的场合