Hive之复杂字段分隔符

作者：小蓝xlanll | 2024-05-07 03:38:57

踩

字段分隔符

Hive中常见的字段分隔符有\001、\t、逗号、空格等单个字符的分隔符，但有时候也会碰到复杂分隔符，这些复杂分隔符不止单个字符，直接使用 fields terminated by 指定分隔符会丢失数据，此时该怎么处理呢?

测试数据：

zhangsan$%#40
lisi$%#25
wangwu$%#38
1
2
3

可以看出字段分隔符为：$%#

建表：

create table hive_tb(
name string,
age int
) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerde' with SERDEPROPERTIES ("field.delim"="$%#");
1
2
3
4

此时就可以正常加载和读取数据啦！当然还可以使用正则匹配实现多字符分隔符，比上面的方法复杂，这里不做叙述了。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/547265