Spark RDD 操作 Transformation/Action 以及示例_spark rdd action transformation

RDD 是一个可读的可分区的分布式数据集，RDD中保存着数据的转换关系，真正的数据存储在各个分区上。分区的设计可以让RDD中的数据被并行操作。

• Resilient: 通过使用RDD谱系图(DAG)实现容错。因此，当节点发生故障时，可以进行重新计算。
• Distributed:  Spark RDD的数据集驻留在多个节点中。
• Dataset: 您将使用的数据记录。

数据处理模型：用户友好型
rdd 提供了类似Scala 的算子，相比于mapReduce中的两种算子：map/reduce。rdd 提供的数据转换的算子更丰富，功能更强大。

RDD 的分区设计，使得数据可以被并行处理，提高效率。同时用户体验上，感觉让用户是在操作本地的一个集合。

不需要关心具体实现细节（文件分配在那几台机器上，怎么读取，如何汇总，是否会有机器故障等问题），只关心结果就好。

操作RDD就像操作一个本地集合一样简单。不关心任务调度和容错等问题。

容错处理。

1、Spark的核心概念是RDD (resilient distributed dataset（弹性分布式数据集）)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。

2、RDD是一个基本的抽象。RDD中不存真正要计算的数据，而是记录了RDD的转换关系（调用什么方法，传入什么函数）RDD是被分区的，真正的数据集存在各个分区（分区有编号）上，每个分区分布在集群中的不同Worker节点上，从而让RDD中的数据可以被并行操作。（分布式数据集）通过对RDD执行操作，其实是对RDD的各个分区中的数据同时并行执行了操作，操作RDD就像操作一个本地集合一样，降低了编程的难度。

ps：同一个stage中，RDD中的一个分区对应一个task，一个分区对应的task只能运行在一台机器上（executor)，但是一台机器上可以有多个分区对应的Task. 一个executor有几个线程，就可以同时支持几个task， 而线程的数量取决于executor资源的多少。

3、RDD通常通过Hadoop上的文件，即HDFS文件或者Hive表，来进行创建；有时也可以通过RDD的本地创建转换而来。

4、传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法。

RDD最重要的特性就是，提供了容错性，可以自动从节点失败中恢复过来。即如果某个节点上的RDD partition，因为节点故障，导致数据丢了，那么RDD会自动通过自己的数据来源重新计算该partition。这一切对使用者是透明的。

RDD的lineage特性。

5、RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘。（弹性）

注意：RDD不是真正的存储数据的单元，RDD只是一个抽象的概念，数据真正存在在RDD对应的partition分区中

rdd={1,2,3}, other={3,4,5}

scala中正式写法：

rdd = sc.parallelize(List(1,2,3))

other = sc.parallelize(List(3,4,5))

flatMap()和map()的区别：

map会将一个长度为N的RDD转换为另一个长度为N的RDD；

flatMap会将一个长度为N的RDD转换成一个N个元素的集合，然后再把这N个元素合成到一个单个RDD的结果集。

{Array("zwm","hyh","fyr"),

Array("zwm","hyh","zll","lw")}

{"zwm","hyh","fyr","zwm","hyh","zll","lw"}

rdd.groupBy(_._1)

将具有相同key的value变成一个迭代器

{ (java, (2, 3)),
(python, (3,3,4))}