Spark大数据分析与实战笔记（第三章 Spark RDD 弹性分布式数据集-05）

每日一句正能量

成功的速度一定要超过父母老去的速度，努力吧。做事不必与俗同，亦不与俗异；做事不必令人喜，亦不令人憎。若我白发苍苍，容颜迟暮，你会不会，依旧如此，牵我双手，倾世温柔。

第3章 Spark RDD弹性分布式数据集

章节概要

传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。Spark中的RDD可以很好的解决这一缺点。

RDD是Spark提供的最重要的抽象概念，我们可以将RDD理解为一个分布式存储在集群中的大型数据集合，不同RDD之间可以通过转换操作形成依赖关系实现管道化，从而避免了中间结果的I/O操作，提高数据处理的速度和性能。接下来，本章将针对RDD进行详细讲解。

3.7 Spark的任务调度

3.7.1 DAG的概念

DAG (Directed Acyclic Graph）叫做有向无环图，Spark中的RDD通过一系列的转换算子操作和行动算子操作形成了一个DAG。DAG是一种非常重要的图论数据结构。如果一个有向图无法从任意顶点出发经过若干条边回到该点，则这个图就是有向无环图。

从图以看出，4->6->1->2是一条路径，4->6->5也是一条路径，并且图中不存在从顶点经过若干条边后能回到该点。在Spark中，有向无环图的连贯关系被用来表达RDD之间的依赖关系。

根据RDD之间依赖关系的不同可以将DAG划分成不同的Stage(调度阶段)。对于窄依赖来说，RDD分区的转换处理是在一个线程里完成，所以窄依赖会被Spark划分到同一个Stage中;而对于宽依赖来说，由于有Shuffle的存在，所以只能在父RDD处理完成后，下一个Stage才能开始接下来的计算，因此宽依赖是划分Stage的依据，当RDD进行转换操作，遇到宽依赖类型的转换操作时，就划为一个Stage。Stage的具体划分如下图所示。

• A、C、E是三个RDD的实例
• 当A做groupByKey转换操作生成B时，由于groupByKey转换操作属于宽依赖类型，所以就把A划分为一个Stage，如Stage1；
• 当C做map转换操作生成D， D与E做union转换操作生成F。由于map和union转换操作都属于窄依赖类型，因此不进行Stage的划分，而是将C、D、E、F加入到同一个Stage中；
• 当F与B进行join转换操作时，由于这时的join操作是非协同划分，所以属于宽依赖，因此会划分为一个Stage，如Stage2；
• 剩下的B和G被划分为一个Stage，如Stage3。

3.7.2 RDD在Spark中的运行流程

Spark的任务调度流程，即RDD在Spark中的运行流程分为RDD Objects、DAGScheduler、TaskScheduler以及Worker四个部分。

1. RDD Objects：当RDD对象创建后，SparkContext会根据RDD对象构建DAG有向无环图，然后将Task提交给DAGScheduler。
2. DAGScheduler：将作业的DAG划分成不同Stage，每个Stage都是TaskSet任务集合，并以TaskSet为单位提交给TaskScheduler。
3. TaskScheduler：通过TaskSetManager管理Task，并通过集群中的资源管理器把Task发给集群中Worker的Executor。
4. Worker：Spark集群中的Worker接收到Task后，把Task运行在Executor进程中，一个进程中可以有多个线程在工作，从而可以处理多个数据分区。

总结

Spark的任务调度是指Spark集群中的任务如何被调度和执行。Spark的任务调度主要基于两个概念：DAG和RDD。

DAG是有向无环图（Directed Acyclic Graph）的简称，用来描述Spark作业中的任务依赖关系。在Spark中，作业被划分为多个阶段（Stage），每个阶段包含一组可以并行执行的任务。阶段之间的依赖关系由DAG表示。DAG的每个节点代表一个RDD（Resilient Distributed Dataset），而边代表RDD之间的依赖关系。通过DAG可以确定任务的执行顺序，并进行优化以提高作业的执行效率。

RDD是Spark中的核心数据结构，代表了分布式的弹性数据集。RDD可以被看作是不可变的分布式对象，可以并行处理，而且具有容错和恢复能力。Spark中的数据处理操作（如转换和动作）都是通过对RDD进行操作来实现的。RDD的运行流程如下：

1. 创建RDD：通过从外部数据源（如HDFS、本地文件）读取或对已有RDD进行转换来创建RDD。

2. RDD转换：通过应用转换操作（如map、filter、reduceByKey）对已有的RDD进行转换，生成新的RDD。转换操作是惰性执行的，即不会立即执行，而是记录下转换操作的具体步骤。

3. RDD依赖关系：每个RDD都会记录其血缘关系，即依赖哪些父RDD。这些依赖关系构成了一个有向无环图，即DAG。

4. 任务划分：根据DAG将作业划分为多个阶段（Stage），每个阶段包含一组可以并行执行的任务。

5. 任务调度：根据阶段之间的依赖关系，将任务按照优化策略进行调度，以便尽可能并行执行。

6. 任务执行：在每个节点上执行任务，将RDD的转换操作应用到数据分区上，并生成新的RDD。

7. 结果返回：执行完所有任务后，将最终结果返回给驱动程序或存储到外部数据源。

Spark的任务调度是基于DAG和RDD的。通过DAG可以确定任务的执行顺序，并进行优化以提高作业的执行效率。而RDD作为核心数据结构，用于表示分布式的弹性数据集，通过RDD的转换操作来构建DAG和执行任务。Spark的任务调度流程包括RDD的创建、转换、依赖关系构建、任务划分、调度、执行和结果返回。

转载自：https://blog.csdn.net/u014727709/article/details/136268261
欢迎