2021-04-23 20:56发布
1、Fifo：默认的调度器，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。
2、计算能力调度器Capacity schedular：支持多个队列，每个队列可配置一定的资源量，每个队列采用FIFO调度策略，为了防止同一个作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源进行限定。调度时，首先按照以下策略选择一个合适队列：计算每个正在运行任务数与其应该分得的计算资源之间的比值，选择一个该比值最小的队列；然后按以下策略选择队列中一个作业，按照作业优先级和提交时间顺序选择，同时考虑用户资源量限制和内存限制。
3、公平调度器Fair scheduler 同计算能力调度器类似，支持多队列多用户。每个队列的资源量可配置，同一队列中的作业公平共享队列中所有资源。
实际上，Hadoop的调度器远不止以上三种，最近，出现了很多针对新型应用的Hadoop调度器。
4、适用于异构集群的调度器LATE
现有的Hadoop调度器都是建立在同构集群的假设前提下，具体假设如下：
1）集群中各个节点的性能完全一样
2）对于reduce task，它的三个阶段：copy、sort和reduce，用时各占1/3
3）同一job的同类型的task是一批一批完成的，他们用时基本一样。
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 初晓微芒 的问题《hadoop 支持哪些调度器？》','http://www.shouhuola.com/answer/35886/118229.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
1、Fifo：默认的调度器，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。
2、计算能力调度器Capacity schedular：支持多个队列，每个队列可配置一定的资源量，每个队列采用FIFO调度策略，为了防止同一个作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源进行限定。调度时，首先按照以下策略选择一个合适队列：计算每个正在运行任务数与其应该分得的计算资源之间的比值，选择一个该比值最小的队列；然后按以下策略选择队列中一个作业，按照作业优先级和提交时间顺序选择，同时考虑用户资源量限制和内存限制。
3、公平调度器Fair scheduler 同计算能力调度器类似，支持多队列多用户。每个队列的资源量可配置，同一队列中的作业公平共享队列中所有资源。
实际上，Hadoop的调度器远不止以上三种，最近，出现了很多针对新型应用的Hadoop调度器。
4、适用于异构集群的调度器LATE
现有的Hadoop调度器都是建立在同构集群的假设前提下，具体假设如下：
1）集群中各个节点的性能完全一样
2）对于reduce task，它的三个阶段：copy、sort和reduce，用时各占1/3
3）同一job的同类型的task是一批一批完成的，他们用时基本一样。
一周热门 更多>