Hive默认分割符、存储格式与数据压缩_hive3.1.0默认分隔符配置

作者：我家自动化 | 2024-05-18 21:46:20

踩

hive3.1.0默认分隔符配置

1、Hive默认分割符

Hive创建表时指定的行受限（ROW FORMAT）配置标准HQL为：

...
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\u0001'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
TBLPROPERTIES ('key'='value')
LOCATION '/user/hive/warehouse/...'
1
2
3
4
5
6
7
8
9

Hive默认分割符规则如下：

分隔符	受限项	HQL语法
`^A（\001）`	字段(列)分隔符	`FIELDS TERMINATED BY`
`^B（\002）`	集合(array、struct、map)元素(map为键值对)间的分隔符	`COLLECTION ITEMS TERMINATED BY`
`^C（\003）`	map元素键与值间的分隔符	`MAP KEYS TERMINATED BY`
`\n`	行分隔符	`LINES TERMINATED BY`

2、Hive存储格式

Hive支持的存储数据的格式主要有：TEXTFILE（行式存储）、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。企业中使用ORC较多

更多关于存储格式的介绍见：https://www.cnblogs.com/jimmy888/p/13551605.html

3、Hive数据压缩

Hive的数据压缩格式通过TBLPROPERTIES关键字指定

SNAPPY压缩在企业中使用较多

1） ORC存储格式的SNAPPY压缩：

STORED AS ORC
TBLPROPERTIES ("orc.compress"="SNAPPY")
1
2

2） PARQUET存储格式的SNAPPY压缩：

STORED AS PARQUET
TBLPROPERTIES ("parquet.compression"="SNAPPY")
1
2

更多关于数据压缩的介绍见：https://www.cnblogs.com/jimmy888/p/13551605.html

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/590020

Hive默认分割符、存储格式与数据压缩_hive3.1.0默认分隔符配置

目录

1、Hive默认分割符

2、Hive存储格式

3、Hive数据压缩