hive数据仓库的应用_hive数据仓库应用

数据仓库hive的随堂笔记

hive基本内容：

hive是一个基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。
本质是将HQL转化成MapReduce程序（底层实现）。

（1）hive处理的数据存储在HDFS。
（2）hive分析数据底层的实现是MapReduce。
（3）执行程序运行在Yarn上。

hive表的创建：

语法： create table 表名（字段名 数据类型） row format delimited fields terminated by ',';
例子：create table student(id int,name string) row format delimited fields terminated by ',';

• row format delimited：进行数据文件行的格式化
• fields terminated by ‘,’：指定数据文件中列的分隔符

hive表中数据加载方式:

1.直接插入：
insert into student values(9,'stu1');
2.加载本地数据文件到hive表中：
load data local inpath '/usr/local/data.txt' into table student;
3.加载HDFS上数据文件到hive表中：
load data inpath '/data/data.txt' into table student;

创建外部表：

语法： create external table 表名(字段名 数据类型)row format delimited fields terminated by ' ';
例子： create external table student3(id int,name string)row format delimited fields terminated by ' ';

• External：创建外部表的关键字
• row format delimited：进行数据文件行的格式化
• fields terminated by ‘,’：指定数据文件中列的分隔符

外部表的数据加载方式：同内部表加载方式一样

内部表与外部表的区别：

两者的主要区别在执行drop操作：
在执行drop操作时,删除内部表的时，会删除表的结构同时删除表中数据；删除外部表的时，仅仅会删除表的结构但是不会删除表中数据；

hive的数据类型

基本数据类型：

Int、boolen、tinyint、smallint、float、double、string、date、timestamps、…

复合数据类型：

array 数组，保存的是同一类型的数据
Map 保存键值对数据
Struct 保存结构化数据

hive的基本函数使用：