首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >从Spark的角度来看,Yarn调度程序真的不同吗?

从Spark的角度来看,Yarn调度程序真的不同吗?
EN

Stack Overflow用户
提问于 2019-02-20 21:47:44
回答 1查看 94关注 0票数 0

Yarn有两个著名的调度器,Fair SchedulerCapacity Scheduler。容量将集群划分为预先定义的队列,从而保证每个队列的资源,公平调度器也将集群划分为队列,并在队列之间和队列内部均匀地共享资源。

现在,进一步查看每个调度程序的详细信息,我们可以看到:

  1. 它们中的每一个都允许对群集进行不均匀的分区(公平的权重和资源比例以及容量百分比)
  2. 每一个都支持队列中的先进先出和公平应用程序支持基于内存和DRF

的资源使用计算

我猜他们两个都“成长”到了这种情况,他们中的每一个都添加了功能。但是到今天为止,它们之间还有什么不同吗?

附注:我是从使用纱线管理Spark的上下文中提出这个问题的

编辑:在建议复制之后,我将解释为什么,虽然相似,但它不能完全回答问题,首先,答案是不准确的,例如,应用程序被分配到队列,而不是作业。信息最丰富的答案是一个对照表,它实际上取自quora answer,它是正确的,但可以追溯到2014-2016年,虽然是开发进度,但使其无关紧要。

EN

回答 1

Stack Overflow用户

发布于 2019-02-21 01:41:41

Nodel标签是主要的标签。如果您想在一组具有附加功能(GPU、软件许可证、高端硬件...)的计算机上运行特定作业那么你现在需要使用Capacity Scheduler。Fair Scheduler可能会在以后得到这个,但AFAIK它仍在进行中。

相关的JIRAs是:

从历史上看,Capacity Scheduler起源于Yahoo!然后由HortonWorks维护,当雅虎!剥离了HortonWorks。Cloudera投资了Fair Scheduler。我不确定HortonWorks和Cloudera合并后的未来会是什么样子。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54787877

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档