Spark:GroupBy算子_spark groupby

GroupBy在Spark中是Transformation,产生shuffle

val value1 = rdd.map(x => (x, 1))
val value2 = value1.groupBy(_._1)

看底层源码

也是有个分区器调的是父RDD

点进去看,底层调的是groupByKey

先进过一次map操作返回值当value

数据当key, 然后在调groupByKey

源码实现

先map聚合,聚合之后形成 kv,kv在map

key,

将map._1当key,本身当value

就是第一个map的key,然后key,value做第二个map

 

在groupByKey

val value = rdd.map(x => (x, 1)).map(y => (y._1, y)).groupByKey()

第一个形成

("spark",1)("hadoop",1)

第二不形成

spark("spark",1)然后在groupByKey相同的key的value聚合