Spark | 分区器Paritioner_spark partition range

作者：你好赵伟 | 2024-06-16 17:09:08

踩

spark partition range

Spark中默认提供两种分区器(partitioner)：

哈希分区器(HashPartitioner):

哈希分区器会根据key-value的键值key的hashcode进行分区，即对于给定的key，计算其hashCode，并除于分区的个数取余，如果余数小于0，则用余数+分区的个数，最后返回的值就是这个key所属的分区ID。该分区方法可以保证同一组的键出现在同一个节点的分区上。速度快，但是可能产生数据偏移，造成每个分区中数据量不均衡。

范围分区器(Range Partitioner): 范围分区器会对现有rdd中的key-value数据进行抽样，尽量找出均衡分割点，力求分区后的每个分区内数据量均衡，但是速度相对慢。

自定义分区器： 实现Partitioner 即可。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/727510