Omega系统简介

1.背景

Google的论文Omega:flexible,scalable schedulers for large compute clusters中把调度分为3代:第一代是独立的集群;第二代是两层调度(Mesos,YARN);第三代是共享状态调度,如图9.3所示。

图9.3

2.架构

为了克服双层调度器的局限性,Google开发了下一代资源管理系统Omega。Omega是一种基于共享状态的调度器,该调度器将双层调度器中的集中式资源调度模块简化为一些持久化的共享数据(状态)和针对这些数据的验证代码,而这里的“共享数据”实际上就是整个集群的实时资源使用信息。一旦引入共享数据,共享数据的并发访问方式就成为该系统设计的核心。而Omega则采用传统数据库中基于多版本的并发访问控制方式(也称为“乐观锁”,Multi-Version Concurrency Control,MVCC),大大提升了Omega的并发性。由于Omega不再有集中式的调度模块,因此,不能像Mesos或者YARN那样,在一个统一模块中完成以下功能:对整个集群中的所有资源分组;限制每类应用程序的资源使用量;限制每个用户的资源使用量等。这些功能全部由各个应用程序调度器自我管理和控制。根据论文所述,Omega只是将优先级这一限制放到了共享数据的验证代码中,即当多个应用程序同时申请同一份资源时,优先级最高的那个应用程序将获得该资源,其他资源限制全部下放到各个子调度器。引入多版本并发控制后,限制该机制性能的一个因素是资源访问冲突的次数,冲突次数越多,系统性能下降得越快。而Google通过实际负载测试证明,这种方式的冲突次数是完全可以接受的。该论文中还谈道,Omega是从Google现有系统中演化而来的。虽然这篇论文只介绍了Omega的调度器架构,但我们可以推测它的整体架构类似于Mesos。因此,如果你了解Mesos,则通过修改Mesos的Master就可以将它改造成一个Omega。

3.优缺点

(1)优点:共享资源状态,支持更大的集群和更高的并发。

(2)缺点:只有论文,无具体实现,在小集群下没有优势。

更详细的信息,大家去看论文吧:)

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-04-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏架构师之路

选redis还是memcache,源码怎么说?

memcache和redis是互联网分层架构中,最常用的KV缓存。不少同学在选型的时候会纠结,到底是选择memcache还是redis。

1284
来自专栏即时通讯技术

为什么说基于TCP的移动端IM仍然需要心跳保活?

很多人认为,TCP协议自身先天就有KeepAlive机制,为何基于它的通讯链接,仍然需要在应用层实现额外的心跳保活?本文将从移动端IM实践的角度告诉你,即使使用...

602
来自专栏小狼的世界

SRE学习笔记:分布式共识系统、Paxos协议

日常工作中,我们经常需要一些服务分布式的运行。跨区域如跨城、跨洲部署运行分布式系统往往是容易的,但是如何保证各系统间状态的一致是困难的。如何保证服务的高可靠、高...

561
来自专栏性能与架构

Actor模型是做什么的?

问题 用户A的操作 (1)开始事务 (2)操作资源1 (3)操作资源2 (4)提交事务 用户B的操作 (1)开始事务 (2)操作资源2 (3)操作资源1...

2644
来自专栏流柯技术学院

系统吞吐量(TPS)、用户并发量、性能测试概念和公式

  一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联。

771

32位 or 64位:Apache CloudStack系统VM架构选择

最近我和一些朋友讨论了一个关于CloudStack的问题:为什么现在CloudStack 4.3同时提供32位或64位系统虚拟机的选项。我提出了一个观点,并将其...

1956
来自专栏北京马哥教育

基础拾遗--【转】性能测试的主要概念和计算公式

PS:下面是性能测试的主要概念和计算公式,记录下: 一.系统吞度量要素: 一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧...

2808
来自专栏java初学

作业调度算法

3156
来自专栏Albert陈凯

2018-09-12 构建大型支付系统时学到的分布式体系结构概念构建大型支付系统时学到的分布式体系结构概念

两年前我作为一名拥有后台开发经验的移动端软件工程师入职 Uber,并负责 APP 端支付功能的开发以及重构。后来我进入了工程师管理团队,并独立带领一个团队。由于...

322
来自专栏云计算

现代网络负载平衡和代理介绍

原文地址:https://blog.envoyproxy.io/introduction-to-modern-network-load-balancing-an...

1664

扫描关注云+社区