map和flatMap的区别

map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素，将返回的迭代器的所有内容构成新的rdd，他通常用来切分单词。Spark中map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象。 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”：

例子1：

object MapAndFlatMap {
 def main(args: Array[String]): Unit = {
    val rdd1= List(List("A","B"),List("C","D"))

    rdd1.map( i => println(i))
    println(rdd1)
    /**
      * List("A","B")
      * List("C","D")
      * List("A","B"),List("C","D")
      */
    
    
    val rdd2 = rdd1.flatMap(f => f)
    println(rdd2)
    rdd2.foreach( i => println(i))
    /**
      * List("A","B","C","D")
      * A
      * B
      * C
      * D
      */
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

map：List里有小的List
flatmap：是先flat再map，只能压一次，形成一个新的List集合，把原元素放进新的集合里面

例子2：

object MapAndFlatMap {
  def main(args: Array[String]): Unit = {
    //创建配置对象
    val sc = new SparkContext(
      new SparkConf().setAppName("map_flatMap_demo").setMaster("local")
    )
    val rdd1 = sc.parallelize(Array("a_b", "c_d", "e_f"))
    rdd1.foreach(println) //打印结果1
    /**
      * a_b
      * c_d
      * e_f
      */
    rdd1
      .map(string => {
        string.split("_")
      })
      .foreach(x => {
        println(x.mkString(",")) //打印结果2
        /**
        * a,b
        * c,d
        * e,f
        */
      })

    rdd1
      .flatMap(string => {
        string.split("_")
      })
      .foreach(x => {
        println(x.mkString(",")) //打印结果3
        /**
        * a
        * b
        * c
        * d
        * e
        * f
        */
      })
  }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42