Yarn资源调度器_yarn cap

Yarn资源调度器

Hadoop的作业调度器主要有三种:FIFO,Capcity Schedule和Fair Schedule.

默认的调度器是Capcity Schedule,存放在yarn-default.xml文件中

• FIFO调度器

• 容量调度器

  • 支持多个队列,每个队列可以配置一定的资源量,每个队列采用fifo调度策略
  • 为了防止同一用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占的资源量进行限定.

• 最闲的队列计算方法,task/资源百分比

• 队列内任务的排序按照作业优先级和计较时间顺序,同时考虑用户资源量限制和内存限制

• 三个队列并发执行

• 公平调度器

  • 队列中的每个job都有几乎去得到资源.按照优先级分配资源,优先级越高,越容易得到资源.但是每个job都会分配到资源以确保公平.
  • 资源有限的情况下,每个job理想情况下获得的计算资源与实际获得的计算资源存在一种差距,叫做差额
  • 同一个队列中,job的资源缺额越大,越先获得资源有限制性.作业是按照缺额的高低来先后执行的,而且可以看到图上有多个作业同时在执行
  • 所需的资源比较大,对机器性能的要求也比较高.否则就会出现那种情况,运行的机器数多,但是没有一个能跑完的.

三种资源调度器怎么选择呢?

机器性能好,直接使用公平调度器

机器性能差的话,又想要并发度,就使用容量调度器

机器性能差,有没有并发度,fifo

又想要并发度,就使用容量调度器

机器性能差,有没有并发度,fifo