Spark sql数据倾斜_sparksql 数据倾斜

作者：酷酷是懒虫 | 2024-08-13 17:34:37

踩

sparksql 数据倾斜

Spark sql数据倾斜
原因: 数据分布不均匀，某一个数据值过多。
数据倾斜指的是，并行处理海量数据过程中，某个或者某些分区的数据显著多于其他分区，从而使得该部分的处理速度成为整个数据集处理的瓶颈。
方案: 把数据打散

抽数时发生数据倾斜
背景
oracle数据增量抽取: 抽取昨天更新的记录

索引 last_modify_date

select * from table  a 
where last_modify_date >= to_date('${bizDate10}','YYYY-MM-DD HH24:MI:SS')
 and  last_modify_date < to_date('${bizDate10}+1','YYYY-MM-DD HH24:MI:SS')
1
2
3

报错:
Executor lost、OutOfMemoryError(OOM) 连接超时
1
2

    优化1 ： 拆成24小时
1

    优化2 ： 增加where 条件,mod(主键，7)=‘${a}’
select * from table a 
where last_modify_date >= to_date('${bizDate10}','YYYY-MM-DD HH24:MI:SS')
    and last_modify_date < to_date('${bizDate10}+1','YYYY-MM-DD HH24:MI:SS')
    and mod(id,7)='${a}'
1
2
3
4
5

    优化3 ： 增加where 条件,ORA_hash(rowid，7)=‘${a}’
select * from table a  
where last_modify_date >= to_date(1
2

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/975830