Spark常用action行动算子_spark action

行动算子与转换算子的区别

• 行动算子会提交job，触发作业的执行，转换算子是懒加载的，只有调用行动算子后才会真正执行。

reduce

函数签名

说明

• reduce算子会将RDD中的数据做聚合操作，先聚合分区内元素，再聚合分区间元素。

代码示例

val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
// reduce聚合
val res: Int = rdd.reduce(_+_)
1
2
3

collect

函数签名

说明

• collect算子可以将RDD中的元素以数组的形式收集到Driver端。

代码示例

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
	val ints: Array[Int] = rdd.collect()
    println(ints.mkString(","))
1
2
3

count

函数签名

说明

• 返回RDD中元素的个数。

代码示例

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
    println(rdd.count())
1
2

first

函数签名

说明

• 返回RDD中第一个元素。

代码示例

    println(rdd.first())
1

take

函数签名

说明

• 取出RDD前n个元素。

代码实现

    println(rdd.take(3).mkString(","))
1

takeOrdered

函数签名

说明

• 将RDD中的元素排序后取前N个元素组成数组。
• 先排序，再取值。

代码示例

    val rdd2: RDD[Int] = sc.makeRDD(List(3, 5, 1, 2, 9, 6))
    println(rdd2.takeOrdered(3).mkString(","))
1
2

aggregate

函数签名

说明

• aggregate先通过分区内逻辑，聚合初始值和分区内每个元素，再通过分区间逻辑聚合分区间元素和初始值。
• 分区内和分区间，初始值运算方式不同。分区内是每个元素都和初始值做聚合，分区间是整个分区内元素只和初始值聚合一次。
  

代码示例

val rdd3: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 8)
val resRDD: Int = rdd3.aggregate(10)(_ + _, _ + _)
println(resRDD)
1
2
3

fold

函数签名

说明

• fold是分区内和分区间计算逻辑相同的aggregate。

代码示例

	val rdd3: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 8)
    println(rdd3.fold(10)(_ + _))
1
2

countByKey

函数签名

说明

• 统计RDD中同一个key出现的次数。

代码示例

    val rdd4: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (2, "b"), (1, "c"), (2, "a"), (2, "d"), (3, "e")))
    println(rdd4.countByKey())
1
2

save相关算子

 	val rdd4: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (2, "b"), (1, "c"), (2, "a"), (2, "d"), (3, "e")))
    rdd4.saveAsTextFile("")
    rdd4.saveAsObjectFile("")
    // savaAsSequenceFile 只能保存kv类型的数据
    rdd4.saveAsSequenceFile("")
1
2
3
4
5

foreach

函数签名

代码实现

	rdd.foreach(println)
1