Hadoop3：Yarn框架的三种调度算法

一、概述

目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。
CDH框架默认调度器是Fair Scheduler。

配置：yarn-default.xml

<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
1
2
3
4
5

二、先进先出调度器（FIFO）

算法逻辑：单队列，根据提交作业的先后顺序，先来先服务。

生产环境中基本不用

三、容量调度器（Capacity Scheduler）[重点]

Capacity Scheduler是Yahoo开发的多用户调度器。

案例说明

四、公平调度器（Fair Schedulere）

Fair Schedulere是Facebook开发的多用户调度器。

缺额

比如，一个任务，应获得的资源是10G内存，但是，实际分配到的只有6G内存，所以，缺额为4G。

DRF策略

Fair策略

案例说明