数据仓库Hive元数据及查询操作_hive元数据库详解

第2章 Hive元数据及查询操作

2.1 元数据概念与表的结构

1.Hive元数据的概念及存储方式

元数据是描述真实数据的数据

包括Hive表的数据库名、表名、字段名与类型等

Hive元数据存储在RDBMS中，有三种存储模式

单用户模式，使用内置Derby数据库

多用户模式，使用本地MySQL数据库

远程服务模式，使用远程元数据服务访问数据库

2.Hive元数据—单用户模式存储

元数据存储在Derby数据库，是默认的存储方式

单用户存储模式优缺点

优点：Derby小巧易用，安装方便

缺点

在同一数据库目录下只能有一个Hive客户端使用

无法实现元数据共享

单用户存储模式适合在测试环境中使用

3.Hive元数据—多用户模式存储1

4.Hive元数据—多用户模式存储2

1. 元数据—远程服务模式存储

6.Hive元数据—存储模式图

2.2 Hive元数据的定义与操作存储

操作1—查看Hive相关元数据

Hive创建分区表语句

2.JavaAPI访问Hive元数据

Hive为Java环境提供两种方式对元数据进行访问

hive-jdbc，通过JDBC方式连接HiveServer2（已提）

hive-metastore，通过访问metastore服务实现

hive-metastore通过面向对象的方式访问数据库数据

仅仅获取元数据而不操作的话，使用hive-metastore组件更加合适

3.Hive操作分区/分桶类型及设置

4.Hive操作分区

1. Hive外部表

 

2.3 Hive数据关联操作

任务实作

2.Hive SELECT语句

  Hive查询即是SELECT语句

用于对表中的数据进行查询

按照规定的语法规则从表中选取数据

基本语法结构如下

3.Hive WHERE 子句

4.Hive ALL、DISTINCT、LIMIT子句

    ALL和DISTINCT子句表示是否返回重复行，默认是ALL，返回所有匹配行

DISTINCT子句可以返回删除结果集中的重复行

LIMIT子句用于限制SELECT语句返回的行数

1. Hive CTE（common table expressions）

 

6.嵌套查询

 

6.列匹配正则表达式

1. 各种关联操作（详细见PPT部分）

2.4 Hive 数据排序

Hive排序方法

2.Hive分组聚合1

3.Hive分组聚合2

4.Hive分组聚合综合操作

1. 共性问题讲解

2.5 Hive 聚合操作

1.提出本节可的任务

2.Hive排序与聚合

3.Hive分组聚合1

4.Hive分组聚合2

5.Hive分组聚合综合操作

1. 共性问题统一讲解