Chronos:数据中心的任务调度器(job scheduler)

大家周二好,不知不觉工作半周了。今天给大家介绍一个扩展性比较强的开源的调度程序,在研究数据中心调度的兄弟可以好好研究下。

1、Chronos来源

Chronos现在是一家初创公司 Mesosphere在维护,该公司的联合创始人是前Airbnb的工程师Florian Leibert(也曾在Twitter工作过)和Tobias Knaup。 Chronos在Airbnb是用来替代cron,是一个跑在mesos上的分布式的,可靠的调度scheduler。

Mesosphere公司相关信息大家可以到以下链接看看:http://mesosphere.io/

2、Chronos架构

Chronos的架构可以看本文最上面封面的图片。

Chronos架在mesos上,负责定时任务触发,解决任务之间的重复调用,依赖关系。任务通过mesos提交给下面的Hive,Pig等框架执行,元数据存放在DB中。

Chronos的支持HA。

3、Chronos扩展性

Chronos借助mesos的master/slave架构,支持sh脚本,甚至通过异步的方式执行远端文件传输和脚本,可以通过扩展基本支持hadoop以及传统数据库,脚本等在本地和远端的执行调用。

支持标准的ISO8601的调度,可定义作业执行完成后的触发器,支持任意长度的依赖链。

4、功能特性

· 基于Web的UI

· 8601 Repeating Interval Notation

· Handles dependencies

· Job Stats (e.g. 50th, 75th, 95th and 99th percentile timing, failure/success)

· Fault Tolerance (Hot Master)

· Configurable Retries

· Multiple Workers (i.e. Mesos Slaves)

5、应用场景以及当前存在的问题:

(1)适合数据中心异构集群批任务(长周期,重复执行)统一调度和管理。

(2)可以通过Mesos承担统一管理资源,如果不需要mesos统一管理资源,mesos退化成通信框架。

(3)不适合对实时性要求高的任务(秒级),不适合单次执行触发的任务。

(4)Web UI还比较简陋,没有以图的方式显示任务的依赖关系。

(5)任务调度里面没有优先级。

(6)没有统计任务资源使用情况,调度信息反馈统计不足。

(7)没有调度自学习能力,不能自动调优调度效率。

6、项目主页:

http://airbnb.github.io/chronos/#Describing%20the%20Dependency%20Graph

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-05-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏游戏杂谈

IAP的几个问题

这种情况应该得到重视,对于用户而言实际上是钱已经消费掉了,但是元宝或者物品没有获得,这会让人很焦虑的。的确,作为一名开发人员,遇到这种情况,第一反映确实是苹果出...

821
来自专栏丿King科技-老李博客

关于域名SEO优化的问题 我们该怎么选择

我们都清楚!SEO优化不是单纯的发发外链,要想把网站排名做上去,需要很多过程,那么在这个过程中,网站域名有没有起到一定的作用呢?

974
来自专栏曾钦松的专栏

万亿级调用下的优雅:微信序列号生成器架构设计及演变 ( 上 )

微信同步机制的背后,需要一个高可用、高可靠的序列号生成器来产生同步数据用的版本号。这个序列号生成器我们称之为 seqsvr ,本文会重点介绍 seqsvr 的架...

2.3K1
来自专栏架构师之路

58到家通用实时消息平台架构细节(Qcon2016)

2016Qcon北京,业务核心架构场,《58到家通用实时消息平台架构细节》。 一、解决什么问题 + 难点 解决什么业务问题 (1)端到云的实时上报需求:58速运...

3205
来自专栏GIS讲堂

echart实现地图的逐级钻取

本文讲述在echart下基于行政区划的地图逐级钻取功能。主要实现: 1、点击地图展示下一级地图; 2、通过区域导航可返回上一级地图;

1703
来自专栏云之翼

如何实现客户对象存储数据迁移到腾讯云COS

在云计算客户的拓展过程中,会面临客户的各种需求。其中最常见的需求包括,如何在云计算上构建客户的业务系统,搭建基础架构;另外一个就是如何实现客户数据...

2670
来自专栏BestSDK

人机交互,6种最被BAT认可的加载模式

作为用户体验设计师,不管是产品、交互还是UI,都习惯于站在人机交互的角度去思考产品设计问题,在这个过程中我们往往会忽略了一个重要的过程:数据传输。先看下面这张图...

3564
来自专栏谈补锅

iOS开发工具篇-AppStore统计工具 (转载)

随着iOS开发的流行,针对iOS开发涉及的方方面面,早有一些公司提供了专门的解决方案或工具。这些解决方案或工具包括:用户行为统计工具(友盟,Flurry,Goo...

1493
来自专栏北京马哥教育

数据库Sharding的基本思想和切分策略

一、基本思想 Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上,从而缓解单一数据库的性能问题。不太严格的讲,对于海量 ...

2869
来自专栏韩东吉的Unity杂货铺

零基础入门 2: 平台切换

上一篇讲述了Unity不同平台的环境布置,以及破解教程。那这一篇就来说下Unity的不同平台切换。

802

扫码关注云+社区