Fair Scheduler和Capacity Scheduler比较

本节提供有关选择Capacity Scheduler的好处和性能改进的信息，以及Fair Scheduler和Capacity Scheduler之间的功能比较。

为什么需要Scheduler？

Cloudera Data Platform（CDP）在YARN群集中仅支持Capacity Scheduler。

在发布CDP之前，Cloudera客户根据所使用的产品（分别是CDH或HDP）使用了两个调度程序（Fair Scheduler和Capacity Scheduler）之一。

CDP中收敛到一个调度程序是一个艰难的选择，但最终植根于我们为客户降低复杂性的意图，同时帮助我们集中精力进行未来的投资。多年来，这两个调度程序都有很大的发展，以至于Fair Scheduler从Capacity Scheduler借用了几乎所有功能，反之亦然。鉴于此，我们最终决定将您的所有YARN群集的工作负载都放在Capacity Scheduler的上面。

当前使用Fair Scheduler的群集在迁移到CDP时必须迁移到Capacity Scheduler。Cloudera提供了有关此类迁移的工具，文档和相关帮助。

使用容量计划程序的好处

以下是使用Capacity Scheduler时的一些好处：

• 与Ranger集成
• 节点分区/标签
• 改进了在云原生环境中的Scheduler，例如更好的垃圾箱打包，自动扩展支持等。
• 计划吞吐量的提高
  • 全局调度框架
  • 一次查找多个节点
• 相似性/反相似性：仅在运行应用程序Y的那些节点上运行应用程序X，反之亦然。不要在同一节点上运行应用程序X和应用程序Y。

调度程序性能改进

提供有关全局调度功能及其测试结果的信息。

全局计划改进带来的改进（YARN-5139）

在更改全局调度之前，YARN调度程序处于整体锁定状态，表现不佳。全局调度在很大程度上改进了YARN调度程序的内部锁定结构和线程模型。调度程序现在可以解耦放置决策并更改内部数据结构。这还可以使您一次查找多个节点，云上的自动缩放和bin-packing策略会使用这些节点。有关更多信息，请参见 设计和实现说明。

在模拟的基础上，使用全局调度功能的测试结果显示：

这是一个具有20000个节点和47000个正在运行的应用程序的模拟环境。有关这些测试的更多信息，请参见性能报告。

YARN社区的性能测试

微软发布了Hydra：用于数据中心规模分析的联合资源管理器（Carlo等）报告，重点介绍了可伸缩性（将YARN部署到超过25万个节点，其中包括五个大型联合集群，每个集群有5万个节点）和通过使用Capacity Scheduler调度获得更高的性能（每个群集的调度程序每秒可以分配超过40k的容器）。这是世界上最大的YARN部署。

我们还看到了社区中其他公司的性能数据，这些数据与我们使用模拟器测试的结果一致（对于具有数千个节点的集群，每秒数千个容器分配）。

免责声明：上面讨论的性能数字与群集的大小，群集上运行的工作负载，队列结构，运行状况（例如节点管理器，磁盘和网络），容器搅动等有关。这通常需要对调度程序和其他群集参数进行微调，以达到理想的性能。这不是仅通过使用CDP就可以实现的保证数量。

功能比较

随着时间的推移，两个调度程序的功能都变得相似。表中列出了当前功能列表以及两个调度程序之间的差异。

支持的功能

路线图中的功能

从Fair Scheduler迁移到Capacity Scheduler

从CDP私有云Base 7.1版本开始，Cloudera提供fs2cs转换实用程序，它是一个CLI应用程序，并且是YARN CLI命令的一部分。该实用程序有助于从Fair Scheduler迁移到Capacity Scheduler。

有关使用fs2cs 转换实用程序，调度程序迁移过程和手动配置的信息，请参阅《数据迁移指南》中的从“Fair Scheduler”到“Capacity Scheduler”迁移。

原文链接：https://docs.cloudera.com/cdp-private-cloud-base/7.1.5/yarn-reference/topics/yarn-FS-vs-CS.html