hive group by 导致的数据倾斜问题_hive2.1.1 group by 防止倾斜

理解group by的运行原理

select rank, isonline, count(*) from city group by rank, isonline;
1

将GroupBy的字段组合为map的输出key值，利用MapReduce的排序，在reduce阶段保存LastKey区分不同的key。MapReduce的过程如下（当然这里只是说明Reduce端的非Hash聚合过程）

注意: GroupBy存在Map端数据的局部聚合，通过自定义Combiner实现

解决group by导致的数据倾斜问题？

采用两阶段聚合的方式，(局部聚合+全局聚合)

案例: 对于表a , 对key进行相应的数据聚合操作
如果某个key的数据量特别大，数据都集中到某一个reduce Task去进行相关数据的处理，这就导致了数据倾斜问题。

解决方案是首先采用局部聚合，即给key加上100以内的随机前缀，进行一次预聚合，然后对本次预聚合后的结果进行去掉随机前缀，进行一次数据的全局聚合。

select split(tkey,'_')[1] as key, sum(tvalue) as total from 
(
    select concat_ws("_", ceiling(rand()*99), key) as tkey, sum(value) tvalue 
        from a 
    group by concat_ws("_", ceiling(rand()*99), key)
) temp 
group by split(tkey,'_')[1];
1
2
3
4
5
6
7
8
9
10
11
12