Hive学习总结之列分割符和行分割符的使用_hive 通过字段中的逗号进行分割成行

我们在Hive中在创建表时，一般会根据导入的数据格式来指定字段分隔符和列分隔符。一般导入的文本数据字段分隔符多为逗号分隔符或者制表符（但是实际开发中一般不用着这种容易在文本内容中出现的的符号作为分隔符），如果我们使用了逗号。或者分号这类分割符，一旦文本中存在，那么就会丢失数据。当然也有一些别的分隔符，也可以自定义分隔符。有时候也会使用hive默认的分隔符来存储数据。

如上可以看出hive默认的列分割类型为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe，而这其实就是**^A**分隔符，hive中默认使用 **^A(ctrl+A)**作为列分割符，如果用户需要指定的话，等同于row format delimited fields terminated by ‘\001’，因为^A八进制编码体现为’\001’.所以如果使用默认的分隔符，可以什么都不加，也可以按照上面的指定加‘\001’为列分隔符，效果一样。

CREATE TABLE emails (
    name string,
    salary FLOAT,
    subordinates ARRAY<STRING>,
    deductions MAP<STRING, FLOAT>,
    address STRUCT<street:STRING, city:STRING, state:STRING, zip:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\001'
COLLECTION ITEMS TERMINATED BY '\002'
MAP KEYS TERMINATED BY '\003'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

1
2
3
4
5
6
7
8
9
10
11
12
13
14

-注意：ROW FORMAT DELIMITED这组关键字必须要写在其他子句(除了STORED AS…)子句之前。
hive默认使用的行分隔符是’\n’分隔符 ，也可以加一句：LINES TERMINATED BY ‘\n’ ，加不加效果一样。但是区别是hive可以通过row format delimited fields terminated by '\t’这个语句来指定不同的分隔符，但是hive不能够通过LINES TERMINATED BY '$$'来指定行分隔符，目前为止，hive的默认行分隔符仅支持‘\n’字符。否则报错。

一般来说hive的默认行分隔符都是换行符，如果非要自定义行分隔符的话，可以通过自定义Inputformat和outputformat类来指定特定行分隔符和列分隔符。

当然如hive中集合数据类型struct ,map,array,也都有默认的字段分隔符，也都可以指定字段分隔符。hive中对于上述三个集合数据类型的默认字段分隔符是**^B**，八进制体现为‘\002’,用collection items terminated by '\002’语句来指定分隔符，对于map来说，还有键值之间的分割符，可以用map keys terminated by ‘\003’（^C）来指定分隔符。