Spark 算子之groupBy使用_spark groupby

作者：从前慢现在也慢 | 2024-07-26 20:34:25

踩

spark groupby

前言

groupBy，顾名思义，即为分组的含义，在mysql中groupBy经常被使用，相信很多同学并不陌生，作为Spark 中比较常用的算子之一，有必要深入了解和学习；

def groupBy[K](f: T => K )(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])]

将数据根据指定的规则进行分组 , 分区默认不变，但是数据会被打乱重新组合，我们将这样

的操作称之为 shuffle 。极限情况下，数据可能被分在同一个分区中

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/887092?site