Yarn 机制_yarn平台

Yarn : 资源调度平台，负责给程序提供服务器运算资源

架构

YARN 架构 :

• ResourceManager (RM) : 处理客户端请求 ; 监控 NodeManager , ApplicationMaster ; 资源的分配与调度
• NodeManager : 管理单节点资源 ; 处理 ResourceManager , ApplicationMaster 的命令
• ApplicationMaster : 申请资源 , 并分配任务 ; 任务的监控与容错
• Container : 封装了某个节点上的多维度资源， 如 : 内存、 CPU、 磁盘、网络

工作机制

MR 程序提交到客户端所在的节点 :

1. YarnRunner 向 ResourceManager 申请一个 Application
2. RM 将该应用程序的资源路径返回给 YarnRunner
3. 该程序将运行所需资源提交到 HDFS 上
4. 程序资源提交完毕后，申请运行 mrAppMaster
5. RM 将用户的请求初始化成一个 Task
6. 其中一个 NodeManager 领取到 Task 任务
7. 该 NodeManager 创建容器 Container， 并产生 MRAppmaster
8. Container 从 HDFS 上拷贝资源到本地
9. MRAppmaster 向 RM 申请运行 MapTask 资源
10. RM 将运行 MapTask 任务分配给另外两个 NodeManager， 另两个 NodeManager 分别领取任务并创建容器
11. MR 向两个接收到任务的 NodeManager 发送程序启动脚本， 这两个 NodeManager分别启动 MapTask， MapTask 对数据分区排序
12. MrAppMaster 等待所有 MapTask 运行完毕后，向 RM 申请容器， 运行 ReduceTask
13. ReduceTask 向 MapTask 获取相应分区的数据
14. 程序运行完毕后， MR 会向 RM 申请注销自己

机制源码 :

作业提交

HDFS/YARN/MapReduce 关系 :

作业提交全过程 :

1. 作业提交
2. 作业初始化
3. 任务分配
4. 任务运行
5. 进度和状态更新
6. 作业完成