Omega系统简介

1.背景

Google的论文Omega:flexible,scalable schedulers for large compute clusters中把调度分为3代:第一代是独立的集群;第二代是两层调度(Mesos,YARN);第三代是共享状态调度,如图9.3所示。

图9.3

2.架构

为了克服双层调度器的局限性,Google开发了下一代资源管理系统Omega。Omega是一种基于共享状态的调度器,该调度器将双层调度器中的集中式资源调度模块简化为一些持久化的共享数据(状态)和针对这些数据的验证代码,而这里的“共享数据”实际上就是整个集群的实时资源使用信息。一旦引入共享数据,共享数据的并发访问方式就成为该系统设计的核心。而Omega则采用传统数据库中基于多版本的并发访问控制方式(也称为“乐观锁”,Multi-Version Concurrency Control,MVCC),大大提升了Omega的并发性。由于Omega不再有集中式的调度模块,因此,不能像Mesos或者YARN那样,在一个统一模块中完成以下功能:对整个集群中的所有资源分组;限制每类应用程序的资源使用量;限制每个用户的资源使用量等。这些功能全部由各个应用程序调度器自我管理和控制。根据论文所述,Omega只是将优先级这一限制放到了共享数据的验证代码中,即当多个应用程序同时申请同一份资源时,优先级最高的那个应用程序将获得该资源,其他资源限制全部下放到各个子调度器。引入多版本并发控制后,限制该机制性能的一个因素是资源访问冲突的次数,冲突次数越多,系统性能下降得越快。而Google通过实际负载测试证明,这种方式的冲突次数是完全可以接受的。该论文中还谈道,Omega是从Google现有系统中演化而来的。虽然这篇论文只介绍了Omega的调度器架构,但我们可以推测它的整体架构类似于Mesos。因此,如果你了解Mesos,则通过修改Mesos的Master就可以将它改造成一个Omega。

3.优缺点

(1)优点:共享资源状态,支持更大的集群和更高的并发。

(2)缺点:只有论文,无具体实现,在小集群下没有优势。

更详细的信息,大家去看论文吧:)

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-04-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Golang语言社区

【Go 语言社区】 golang 算法课程 第一季 第2节 洗牌算法

扑克牌洗牌是我们生活中比较喜欢玩的一个游戏。那么我们有没有什么办法自己设计一个扑克牌洗牌的方法呢?在运行库当中有一个随机函数rand,它可以生成0~32767之...

3917
来自专栏编程

python学习笔记第三天:python之numpy篇!

此图只是为了封面而已,并非python女友 接下来要给大家介绍的系列中包含了Python在量化金融中运用最广泛的几个Library: numpy scipy p...

2105
来自专栏CSDN技术头条

Apache Spark作为编译器:深入介绍新的Tungsten执行引擎

《Spark 2.0技术预览:更容易、更快速、更智能》文中简单地介绍了Spark 2.0相关技术, 本文将深入介绍新的Tungsten执行引擎。Apache S...

1915
来自专栏HappenLee的技术杂谈

大数据小视角5:探究SSD写放大的成因与解决思路

首先我们来看看什么是写放大,写放大(Write amplification)是2008年,由英特尔和SiliconSystems在论文之中首次提出:它表现为在S...

543
来自专栏小樱的经验随笔

hihoCoder #1078 : 线段树的区间修改(线段树区间更新板子题)

#1078 : 线段树的区间修改 时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述 对于小Ho表现出的对线段树的理解,小Hi表示挺满...

2584
来自专栏祝威廉

让流动的数据结构化

结构化数据加上一个支持schema变更的存储,加上一个高效易用的支持SQL的数据处理和查询的引擎,简直无所不能和极度高效。

381
来自专栏java一日一条

使用Java 8函数式编程生成字母序列

在 Java 8 中使用函数式编程生成字母序列是一个很大的挑战。Lukas Eder 愉快地接受了这个挑战,他将告诉我们如何使用 Java 8 来生成ABC的序...

342
来自专栏落影的专栏

程序员进阶之算法练习(二十八)

前言 四道题,分别锻炼哈希、贪心、贪心+排序、二分四个能力。 第一题较为简单,后续的题目都需要一定的基础。 贪心是最基础的能力,codeforce有专门的 ...

4439
来自专栏HappenLee的技术杂谈

大数据小视角5:探究SSD写放大的成因与解决思路

首先我们来看看什么是写放大,写放大(Write amplification)是2008年,由英特尔和SiliconSystems在论文之中首次提出:它表现为在S...

1035
来自专栏数值分析与有限元编程

Fortran知识 | 还在使用reshape函数?

计算机内存是一维的,在存储多维数组时,有些语言按行优先原则,有些语言按列优先原则。Fortran语言就属于按列优先原则。 Fortran语言用reshape函数...

2777

扫码关注云+社区