Hadoop调度器原理解析

简单记录下 Capacity Scheduler和fair   Scheduler：

二、Capacity Scheduler ：

调度算法：
    1.选择queue队列    
               -按资源使用率  numSlotsOccupied（槽位占用数） / capacity（容量： % cluster slots） 由小到大排序 。 
               -跳过已超过max-capacity的queue。（max-capacity(% cluster slots)：最大容量）

    2.从queue中选择job
                  -基于优先级（默认关闭）的FIFO排序。 （基于优先级和提交时间排序，如果没有开启优先级则只根据提交时间排序） 
                  -选择一个Job  选中的作业需满足两个条件：
                                  1).作业所属的用户的使用资源没有达到上限
                                  2). 该TaskTracker节点剩余的内存足够来运行该Job的Task
                                                  当该TaskTracker的内存不能满足作业的内存需求时，那么调度器会判断该作业是否有待运行的任务并且
                                                保留的TaskTracker是否足够。如果是，则跳过该JobInProgress,取出队列中的下一个JobInProgress。否则
                                                将该tasktracker中的内存solt保留给该Job（保留给该job的名下，这样做是为了使该作业不至于饿死，如果
                                                TaskTracker中可用的solt数量大于等于Job中每个任务所需要的solt的数量，那么TaskTracker会释放掉为该
                                                 Job预留的solt，然后从Job中挑选一个任务在TaskTracker上执行）
                                                
 
    3.从job中选择task
                -map task会考虑本地。 



三、Fair Scheduler ：

调度算法：

    1.选择Pool：
        判断当前运行的任务数目小于最小共享数目。(Fair算法，只考虑内存使用， 后边注释)
                如果二个组都小于，则比较最小共享占比。即当前运行的数 / 该组的最小共享数。

          如果二个组都大于，则比较权重比。即运行任务数 / 权重系数。(权重越高，被选中的几率越高，且获得资源时获取的量也越大)

          如果二者还是相等，则根据起始时间来比较。

    2.选择job：
           默认采用Fair算法，可支持FIFO、Fair、DRF算法

  

   FIFO：先按照优先级高低调度，如果优先级相同，则按照提交时间先后顺序调度，如果提交时间相同，则按照（队列或者应用程序）名称大小（字符串比较）调度；

   FAIR：按照内存资源使用量比率调度，即按照used_memory（使用的内存）/minShare（最少资源保证量，只考虑内存）大小调度（核心思想是按照该调度算法决定调度顺序，但还需考虑一些边界情况）；

   DRF：借鉴了Mesos中的设计策略，按照主资源公平调度算法进行调度，具体已经在Apache Mesos调度器机制进行了介绍。

最后 借用董专家的一张图说明  Capacity  和  Fair 之间的区别 :



设置任务执行的队列以及优先级 ：

作业提交到的队列：mapreduce.job.queuename

作业优先级：mapreduce.job.priority

Pig版本：

SET mapreduce.job.queuename root.etl.distcp;

SET mapreduce.job.priority HIGH;

Hive版本：

SET mapreduce.job.queuename=root.etl.distcp;

SET mapreduce.job.priority=HIGH;

MapReduce版本：

hadoop jar app.jar -D mapreduce.job.queuename=root.etl.distcp -D mapreduce.job.priority=HIGH