spark面试题—spark on yarn模式下的作业提交流程_spark launcher 提交yarnr任务 jar包到哪里

步骤：

1，客户端向yarn的RM提交作业请求，RM进行权限等验证，生成jobid、资源上传路径，将jobId和资源上传路径返回给客户端；

2，客户端将jar包、配置文件、第三方包等文件上传到指定的hdfs路径后，向RM提交作业执行请求；

3，RM收到请求后，将其封装为一个任务插入Scheduler的任务队列中，等待空闲资源；

4，集群有空闲资源后，Scheduler将任务派发给NM，NM创建容器，启动ApplicationMaster；

5，ApplicationMaster启动后，从hdfs拉取jar包，解析DAG，根据dag生成stage，确定task并发度，向RM申请资源；

6，RM接收到请求后，将请求封装为task插入任务队列；

7，集群有空闲资源后，RM将任务分发给NM，NM启动容器，并和ApplicationMaster通信。

8，AapplicationMaster将任务发送到NM，并启动任务；

9，AM监控任务的执行进度，在任务执行失败后重新向RM申请资源；

10，任务执行成功后，AM向RM申请注销自己。

图示：