大数据:Hadoop二十二、Yarn调度器和调度算法

Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。
Apache Hadoop默认的资源调度器：容量调度器Capacity Scheduler。
CDH框架默认调度器是Fair Scheduler。

1 FIFO

单队列，先来先服务。
优点：简单易懂；
缺点：不支持多队列，生产环境很少使用。

2 容量调度器

Capacity Scheduler是Yahoo开发的多用户调度器。

特点：
（1）多队列：每个队列配置一定资源，队列中采用FIFO调度策略。

（2）容量保证：可以给每个队列设置资源使用的下限和上限。

（3）灵活性：某一队列的剩余资源可以暂时共享给需要资源的队列，当该队列由新的应用程序提交时，则别的队列归还借调的的资源。

（4）多租户：支持多用户共享集群和多应用程序同时运行。（防止统一用户独占队列资源，调度器会限定同一用户提交的专业所占资源）

容量调度器资源分配算法

（1）队列资源分配：从root开始深度遍历，有选择资源占用率最低的队列进行分配。

（2）作业资源分配：按作业优先级和提交时间分配。

（3）容器资源分配：按容器优先级分配，优先级相同，按照数据本地性原则：
    （i）任务和数据在同一节点；
    （ii）任务和数据在同一机架；
    （iii）任务和数据不在同一节点和同一机架。

3 公平调度器

同队列所有任务共享资源，在时间尺度上获得公平的资源。

（1）公平调度器与容量调度器相同点：
    （i）多队列：每个队列配置一定资源，队列中采用FIFO调度策略。

    （ii）容量保证：可以给每个队列设置资源使用的下限和上限。

    （iii）灵活性：某一队列的剩余资源可以暂时共享给需要资源的队列，当该队列由新的应用程序提交时，则别的队列归还借调的的资源。

    （iv）多租户：支持多用户共享集群和多应用程序同时运行。（防止统一用户独占队列资源，调度器会限定同一用户提交的专业所占资源）

（2）公平调度器与容量调度器不相同点：
    （i）调度策略不同：
        容量调度器：优先选择资源利用率低的队列。
        公平调度器：优先选择对资源缺额比例大的队列。

    （ii）每个队列单独设置资源分配方式：
        容量调度器：FIFO、DRF
        公平调度器：FIFO、FAIR、DRF

缺额：公平调度器设置在时间尺度上作业获得公平的资源。但某一时刻作业应获资源和实际获取资源的差叫缺额。（因为作业刚进入不能马上获得资源的均分）

公平调度队列资源分配方式：
（1）FIFO：公平调度器使用FIFO则变为容量调度器。

（2）FAIR：每一步都按照公平策略分配资源。

    具体资源分配流程：

    （I）选择队列：从root开始深度遍历，有选择资源占用率最低的队列进行分配。

    （II）选择作业：按作业优先级和提交时间分配。

    （III）选择容器：按容器优先级分配，优先级相同，按照数据本地性原则：
        （i）任务和数据在同一节点；
        （ii）任务和数据在同一机架；
        （iii）任务和数据不在同一节点和同一机架。

实际最小资源份额：minShare=Min(资源需求量，配置的最小资源)

是否饥饿：isNeedy=资源使用量<minShare

资源分配比：minShareRatio=资源使用量/Max(minShare,1)

资源使用权重比：useToWeightRatio=资源使用量/权重

例子：

（I）队列资源分配：
  需求：资源总量为100，三个队列对资源的需求分别为20、50、30。
    第一次：100/3=33.33
        queueA：分33.33->多13.33
        queueB：分33.33->少16.67
        queueC：分33.33->多3.33

    第二次：(13.33 3.33)/1=16.66
        queueA：分20
        queueB：分33.33 16.66=50
        queueC：分30

（II）作业资源分配：
（a）不加权（关注job个数）（计算时：资源个数/资源需求）
  需求：一个队列有12个资源，4个job，需求分别是1、2、6、5。
    第一次：12/4=3
        job1：分3个->多2个
        job2：分3个->多1个
        job3：分3个->少3个
        job4：分3个->少2个

    第二次：(2 1)/2=1.5
        job1：分1个
        job2：分2个
        job3：分3个->少3个->分1.5个->共分4.5个
        job4：分3个->少2个->分1.5个->共分4.5个

    第n次算：直到没有空闲资源。

（b）加权（关注job权重）(计算时：资源个数/权重)
  需求：一个队列有16个资源，4个job，需求分别：4、2、10、4；权重分别为：5、8、1、2。
    第一次：16/(5 8 1 2)=1
        job1：分1x5个->多5-4=1个
        job2：分1x8个->多8-2=6个
        job3：分1x1个->少10-1=9个
        job4：分1x2个->少4-2=2个

    第二次：(1 6)/(1 2)=7/3
        job1：分4个
        job2：分2个
        job3：分1个->少9个->分(7/3)x1=2.23个->少6.67
        job4：分2个->少2个->分(7/3)x2=4.66个->多2.66

    第三次：2.66/1=2.66
        job1：分4个
        job2：分2个
        job3：分1个->少9个->分(7/3)x1=2.23个->少6.67->分2.66x1个->共分(1 2.33 2.66)=6个
        job4：分2个->少2个->分4个

    第n次算：直到没有空闲资源。

（3）DRF：FIFO和FAIR只考虑单一资源内存，当存在贷款、CPU等资源需要分配时使用DRF进行调度。使用DRF策略对不同应用进行不同资源的不同比例限制。

这篇好文章是转载于：学新通技术网