Hive数据类型和文件格式_hive数据格式

Hive数据类型和文件格式

Hive支持关系数据库中的大多数基本数据类型，同时也支持3种新的集合数据类型。

1 基本数据类型

Hive 的 STRING 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串，不过它不限定最多能存储多少个字符，理论上它可以存储 2GB 的字符数。

2. 集合数据类型

Hive中的列支持struct、map和array集合数据类型。

ARRAY 和 MAP 与 Java 中的 Array 和 Map 类似，而 STRUCT 与 C 语言中的Struct 类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。

2.1 Struct举例

（1）假设有如下两条数据，为了便于理解，以JSON格式来表示它的数据结构：

[
{
	"stuid": 1,
	"stuname":'alan',
	"score":{
		"math":98,
		"computer":89
	}
},
{
	"stuid": 2,
	"stuname":'john',
	"score":{
		"math":95,
		"computer":97
	}
}
]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

（2）在目录/root/data中创建本地测试文件struct.txt，保存下面的数据。

1,alan,98_89
2,john,95_97
1
2

（3）在Hive上创建测试表test_struct

create table test_struct
(
    stuid   int,
    stuname string,
    score   struct<math:int,computer:int>
)
    row format delimited fields terminated by ','
        collection items terminated by '_'
        lines terminated by '\n';
1
2
3
4
5
6
7
8
9

字段解释：

row format delimited fields terminated by ',' -- 列分隔符
collection items terminated by '_' -- MAP STRUCT和ARRAY的分隔符(数据分割符号)
lines terminated by '\n'; -- 行分隔符
1
2
3

（4）接下来，导入struct.txt中的文本数据到测试表test_struct

load data local inpath '/root/data/struct.txt' into table test_struct;
1

（5）访问表test_struct中的数据

select * from test_struct;
1

（6）访问结构中的数据

select stuname,score.math,score.computer from test_struct;
1

2.2 Array举例

（1）假设有如下两条数据，为了便于理解，以JSON格式来表示它的数据结构：

[
{
	"stuid": 1,
	"stuname":'alan',
	"hobbys":["music","sports"]
},
{
	"stuid": 2,
	"stuname":'john',
	"hobbys":["music","travel"]
}
]
1
2
3
4
5
6
7
8
9
10
11
12

（2）在目录/root/data中创建本地测试文件array.txt，保存下面的数据。

1,alan,music_sports
2,john,music_travel
1
2

（3）在Hive上创建测试表test_array

create table test_array
(
    stuid   int,
    stuname string,
    hobbys  array<string>
)
    row format delimited fields terminated by ','
        collection items terminated by '_'
        lines terminated by '\n';
1
2
3
4
5
6
7
8
9

（4）接下来，导入array.txt中的文本数据到测试表test_array

load data local inpath '/root/data/array.txt' into table test_array;
1

（5）访问表test_array中的数据

select * from test_array;
1

（6）访问数组中的数据

set hive.cli.print.header=true;
select stuname,hobbys[0] from test_array;
1
2

2.3 Map举例

（1）假设有如下两条数据，为了便于理解，以JSON格式来表示它的数据结构：

[
{
	"stuid": 1,
	"stuname":'alan',
	"score":{
		"math":98,
		"computer":89
	}
},
{
	"stuid": 2,
	"stuname":'john',
	"score":{
		"math":95,
		"computer":97
	}
}
]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

（2）在目录/root/data中创建本地测试文件 map.txt，保存下面的数据。

1,alan,math:98_computer:89
2,john,math:95_computer:97
1
2

（3）在Hive上创建测试表test_map

create table test_map
(
    stuid   int,
    stuname string,
    score   map<string,int>
)
    row format delimited fields terminated by ','
        collection items terminated by '_'
        map keys terminated by ':'
        lines terminated by '\n';
1
2
3
4
5
6
7
8
9
10

字段解释：

row format delimited fields terminated by ',' -- 列分隔符
collection items terminated by '_' --MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)
map keys terminated by ':' -- MAP 中的 key 与 value 的分隔符
lines terminated by '\n'; -- 行分隔符
1
2
3
4

（4）接下来，导入map.txt中的文本数据到测试表test_map

load data local inpath '/root/data/map.txt' into table test_map;
1

（5）访问表test_map中的数据

set hive.cli.print.header=true;
select * from test_map;
1
2

（6）访问map中的数据

select stuname,score['math'] as math,score['computer'] as computer from test_map;
1

3 数据类型转换

Hive 的原子数据类型是可以进行隐式转换的，类似于 Java 的类型转换。转换的原则是从数据范围小的类型向数据范围大的类型转换，或从数据精度低的类型向数据精度高的类型转换，以保证数据和精度不丢失。例如某表达式使用 BIGINT类型，INT 会自动转换为BIGINT 类型，但是 Hive 不会进行反向转换。例如，某表达式使用 INT 类型，BIGINT 不会自动转换为 INT 类型，它会返回错误，除非使用 CAST 操作。

3.1 隐式转换

（1）任何整数类型都可以隐式地转换为一个范围更广的类型，如 TINYINT 可以转换成 INT，INT 可以转换成 BIGINT。

（2）所有整数类型、FLOAT 和 STRING 类型都可以隐式地转换成 DOUBLE。

（3）TINYINT、SMALLINT、INT 都可以转换为 FLOAT。

（4）BOOLEAN 类型不可以转换为任何其它的类型。

3.2 显示转换

可以使用 CAST 操作进行显示数据类型转换，例如 CAST(‘1’ AS INT)将把字符串’1’ 转换成整数 1；如果强制类型转换失败，如执行 CAST(‘X’ AS INT)，表达式返回空值NULL。

select '2'+3,cast('2' as int)+1;
1

4 文本文件数据编码

Hive中经常经使用未经压缩的文本文件来存储数据，各字段之间如何保证正确分隔，分隔符的选择十分重要，已选定的分隔符不能出现在数据中。Hive默认使用了几个控制字符，这些字符很少出现在字段值中。

下面是一张员工表：

CREATE TABLE employees
(
    name         STRING,
    salary       FLOAT,
    subordinates ARRAY<STRING>,
    deductions   MAP<STRING,FLOAT>,
    address      STRUCT<street:STRING,city:STRING,state:STRING,zip:INT>
);
1
2
3
4
5
6
7
8

其中，字段subordinates（下属员工）是一个字符串数组，字段deductions是一个由键-值对构成的map，其记录了每一次的扣除额。最后，每名员工的家庭住址使用struct数据类型存储。employees表的第1行记录看上去和下面展示的一样，它用到了上面表格中的分隔符。

John Doe^A100000.0^AMary Smith^BTodd Jones^AFederal Taxes^C.2^BState Taxes^C.05^BInsurance^C.1^A1 Michigan Ave.^BChicage^BIL^B60600
1

在vi中的显示效果如下：

注意："^A"不是直接按字符键^A直接输入的，而是在编辑状态下按Ctrl+V+A输入的，同理按下Ctrl+V+B可以输入不见字符"^B"。
1

很显然上面记录的可读性不好，把它转换成可读性好的JSON格式如下：

{
"name": "John Doe",
"salary": 100000.0,
"subordinates": ["Mary Smith","Todd Jones"],
"deductions": {
	"Federal Taxes": .2,
	"State Taxes": .05,
	"Insurance": .1
},
"address": {
	"street": "1 Michigan Ave.",
	"city": "Chicago",
	"state": "IL",
	"zip": 60600
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

用户可以不使用这些默认的分隔符，而指定使用其他分隔符。下面建表语句明确指定了分隔符：

CREATE TABLE employees
(
    name         STRING,
    salary       FLOAT,
    subordinates ARRAY<STRING>,
    deductions   MAP<STRING,FLOAT>,
    address      STRUCT<street:STRING,city:STRING,state:STRING,zip:INT>
)
    row format delimited fields terminated by '\001'
        collection items terminated by '\002'
        map keys terminated by '\003'
        lines terminated by '\n'
    stored as textfile;
1
2
3
4
5
6
7
8
9
10
11
12
13

目前行分隔符只支持’\n’，不能是别的字符，stored as textfile可以被省略，默认就是 textfile格式的文件。把上面输入的数据加载到employees表中：

load data local inpath '/root/data/employees.txt' into table employees;
1

查看employees表中的数据

select * from employees;
1