hive使用split等函数程序很慢的情况分析_hive split性能、

作者：知新_RL | 2024-06-01 06:35:57

踩

hive split性能、

一段很简单的代码，使用比如create table mobdi_test.aaa as select split(path,'\/') from mobdi_test.path_text_nocomp;程序进度季度慢，2.9亿的数据跑了5个小时

尝试了各种方法，参数优化，udf重构等。后来才找到了原因。是hive矢量化的问题，集群开启了矢量化，本来是为了一片好心提高计算效率的。但但是很多函数是不支持的矢量化的，造成数据量很大的时候季度慢。

很明显split不在其中，set hive.vectorized.execution.enabled=false;

重跑，6的飞起，有问题多看官方wiki或者jira。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/656434