赞
踩
1.随机分区器 ShufflePartitioner
2.自定义分区器CustomPartitionerWrappery
使用用户定义的分区程序为每个元素选择目标任务。
3.全局分区器GlobalPartitioner
4.重行分区 RebalancePartitioner
分区元素轮循,从而为每个分区创建相等的负载。在存在数据偏斜的情况下对性能优化有用。
详细代码:
https://blog.csdn.net/huonan_123/article/details/104414396
另外一篇blog,提到了八大分区策略:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。