spark基本原理&；UI界面解读_spark ui(1)，2024年最新大数据开发进程保活黑科技实现原理解密及方法

1.1 基本原理

1. driver节点是整个应用程序的指挥所
2. 指挥官是sparkcontext
   
3. 环境：构建一个集群
4. 应用程序提交
5. 确定主节点，确定指挥所driver，确定指挥官sparkcontext
   
6. sparkcontext会向资源管理器申请资源
7. 会将作业分为不同阶段
8. 将不同任务分到不同节点执行
9. 整个过程还会进行监控
   
10. 资源管理器收到sparkcontext的资源请求
11. 会向executor分配资源
12. 启动executor进程，才会启动线程
    
13. executor进程是驻留在不同的work node中
14. 会有成百上千个进程和work node
    
15. sparkcontext对象要根据 rdd依赖关系 构建一个DAG图
16. 代码就是针对RDD一次次的操作
17. 这些操作会被转换成一个有向无环图 dag
    
18. DAG会被提交到dag scheduler解析
19. DAG图会被切为很多个阶段 stage
    
20. 每个stage又分为若干个任务
21. 每一个阶段stage是任务的集合
    
22. 把这个阶段stage提交给task scheduler
23. task scheduler负责分发任务
24. worker node上的executor会向task scheduler主动申请
25. task scheduler会返回任务给worker node上的executor去派生线程去执行
    
26. 计算给节点的分发原则：
27. 计算向数据靠拢。数据在哪个节点上面，task scheduler优先分配，完成本地化的处理。
    
28. executor运行的结果会再次反馈给task scheduler
29. 再向上传给 dag scheduler
30. spark context做最后的处理。返回给用户看或者写入HDFS
    
    
31. sparkcontext：代表了整个应用程序连接集群的通道。链接应用和集群