这个屌丝很懒，什么也没留下！

Spark 任务生成以及提交总结_spark-submit提交头歌

作者：我家小花儿 | 2024-07-27 01:46:03

spark-submit提交头歌

对spark任务提交源码进行初步阅读梳理下流程

Spark调度阶段的划分是由DAGScheduler实现的，DAGScheduler会从最后一个Rdd出发，使用广度优先遍历整个依赖树，从而划分调度阶段，依据是否为宽依赖，当某些Rdd操作是Shuffle时，以该Shuffle操作为界限划分前后两个调度阶段。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/888115