当前位置:   article > 正文

Spark常用action行动算子_spark action

spark action

行动算子与转换算子的区别

  • 行动算子会提交job,触发作业的执行,转换算子是懒加载的,只有调用行动算子后才会真正执行。

reduce

函数签名

在这里插入图片描述

说明

  • reduce算子会将RDD中的数据做聚合操作,先聚合分区内元素,再聚合分区间元素。

代码示例

val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
// reduce聚合
val res: Int = rdd.reduce(_+_)
  • 1
  • 2
  • 3

collect

函数签名

在这里插入图片描述

说明

  • collect算子可以将RDD中的元素以数组的形式收集到Driver端。

代码示例

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
	val ints: Array[Int] = rdd.collect()
    println(ints.mkString(","))
  • 1
  • 2
  • 3

count

函数签名

在这里插入图片描述

说明

  • 返回RDD中元素的个数。

代码示例

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
    println(rdd.count())
  • 1
  • 2

first

函数签名

在这里插入图片描述

说明

  • 返回RDD中第一个元素。

代码示例

    println(rdd.first())
  • 1

take

函数签名

在这里插入图片描述

说明

  • 取出RDD前n个元素。

代码实现

    println(rdd.take(3).mkString(","))
  • 1

takeOrdered

函数签名

在这里插入图片描述

说明

  • 将RDD中的元素排序后取前N个元素组成数组。
  • 先排序,再取值。

代码示例

    val rdd2: RDD[Int] = sc.makeRDD(List(3, 5, 1, 2, 9, 6))
    println(rdd2.takeOrdered(3).mkString(","))
  • 1
  • 2

aggregate

函数签名

在这里插入图片描述

说明

  • aggregate先通过分区内逻辑,聚合初始值和分区内每个元素,再通过分区间逻辑聚合分区间元素和初始值。
  • 分区内和分区间,初始值运算方式不同。分区内是每个元素都和初始值做聚合,分区间是整个分区内元素只和初始值聚合一次。
    在这里插入图片描述

代码示例

val rdd3: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 8)
val resRDD: Int = rdd3.aggregate(10)(_ + _, _ + _)
println(resRDD)
  • 1
  • 2
  • 3

fold

函数签名

在这里插入图片描述

说明

  • fold是分区内和分区间计算逻辑相同的aggregate。

代码示例

	val rdd3: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 8)
    println(rdd3.fold(10)(_ + _))
  • 1
  • 2

countByKey

函数签名

在这里插入图片描述

说明

  • 统计RDD中同一个key出现的次数。

代码示例

    val rdd4: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (2, "b"), (1, "c"), (2, "a"), (2, "d"), (3, "e")))
    println(rdd4.countByKey())
  • 1
  • 2

save相关算子

 	val rdd4: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (2, "b"), (1, "c"), (2, "a"), (2, "d"), (3, "e")))
    rdd4.saveAsTextFile("")
    rdd4.saveAsObjectFile("")
    // savaAsSequenceFile 只能保存kv类型的数据
    rdd4.saveAsSequenceFile("")
  • 1
  • 2
  • 3
  • 4
  • 5

foreach

函数签名

在这里插入图片描述

代码实现

	rdd.foreach(println)
  • 1
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小舞很执着/article/detail/819900
推荐阅读
相关标签
  

闽ICP备14008679号