set.hive.groupby.skewindata=true专讲

作者：神奇cpp | 2024-08-13 18:16:49

踩

set hive.groupby.skewindata=true;

2019-04-23 10:54:00

问题：

　　set.hive.groupby.skewindata=true;存在一定的局限性

问题分析：

　　skewindata配置真正起作用，有以下三种情况：

　　　　1、select count distinct ... from ...

　　　　2、select a,count(*) from .... group by a

　　　　3、select count(*),count(distinct ....) from

hive.groupby.skewindata就是根据distinct/non-distinct的选择，直接将mode从mergepartitial设置成对应的确定形式，但是当distinct和non-distinct同时存在时，选择就会出问题

图表对比：

UDAF相关mode解释

转载于:https://www.cnblogs.com/wanfeng1937/p/10755178.html

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/975986