Chronos:数据中心的任务调度器(job scheduler)

大家周二好,不知不觉工作半周了。今天给大家介绍一个扩展性比较强的开源的调度程序,在研究数据中心调度的兄弟可以好好研究下。

1、Chronos来源

Chronos现在是一家初创公司 Mesosphere在维护,该公司的联合创始人是前Airbnb的工程师Florian Leibert(也曾在Twitter工作过)和Tobias Knaup。 Chronos在Airbnb是用来替代cron,是一个跑在mesos上的分布式的,可靠的调度scheduler。

Mesosphere公司相关信息大家可以到以下链接看看:http://mesosphere.io/

2、Chronos架构

Chronos的架构可以看本文最上面封面的图片。

Chronos架在mesos上,负责定时任务触发,解决任务之间的重复调用,依赖关系。任务通过mesos提交给下面的Hive,Pig等框架执行,元数据存放在DB中。

Chronos的支持HA。

3、Chronos扩展性

Chronos借助mesos的master/slave架构,支持sh脚本,甚至通过异步的方式执行远端文件传输和脚本,可以通过扩展基本支持hadoop以及传统数据库,脚本等在本地和远端的执行调用。

支持标准的ISO8601的调度,可定义作业执行完成后的触发器,支持任意长度的依赖链。

4、功能特性

· 基于Web的UI

· 8601 Repeating Interval Notation

· Handles dependencies

· Job Stats (e.g. 50th, 75th, 95th and 99th percentile timing, failure/success)

· Fault Tolerance (Hot Master)

· Configurable Retries

· Multiple Workers (i.e. Mesos Slaves)

5、应用场景以及当前存在的问题:

(1)适合数据中心异构集群批任务(长周期,重复执行)统一调度和管理。

(2)可以通过Mesos承担统一管理资源,如果不需要mesos统一管理资源,mesos退化成通信框架。

(3)不适合对实时性要求高的任务(秒级),不适合单次执行触发的任务。

(4)Web UI还比较简陋,没有以图的方式显示任务的依赖关系。

(5)任务调度里面没有优先级。

(6)没有统计任务资源使用情况,调度信息反馈统计不足。

(7)没有调度自学习能力,不能自动调优调度效率。

6、项目主页:

http://airbnb.github.io/chronos/#Describing%20the%20Dependency%20Graph

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-05-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏游戏杂谈

IAP的几个问题

这种情况应该得到重视,对于用户而言实际上是钱已经消费掉了,但是元宝或者物品没有获得,这会让人很焦虑的。的确,作为一名开发人员,遇到这种情况,第一反映确实是苹果出...

19910
来自专栏pangguoming

比较全的OA系统功能模块列表

如何判断一款协同OA软件,是否智能,是否注重细节,是否足够成熟呢?产品的设计优势、功能特性,需要我们总结,也需要让更多的用户了解。功能到底强在哪里?下文中将给出...

1.8K90
来自专栏开源项目

优质推荐 | 看 3 月新增1k+ Star 及 GVP 项目如何将你俘获

16220
来自专栏曾钦松的专栏

万亿级调用下的优雅:微信序列号生成器架构设计及演变 ( 上 )

微信同步机制的背后,需要一个高可用、高可靠的序列号生成器来产生同步数据用的版本号。这个序列号生成器我们称之为 seqsvr ,本文会重点介绍 seqsvr 的架...

2.6K20
来自专栏架构师之路

58到家通用实时消息平台架构细节(Qcon2016)

2016Qcon北京,业务核心架构场,《58到家通用实时消息平台架构细节》。 一、解决什么问题 + 难点 解决什么业务问题 (1)端到云的实时上报需求:58速运...

40150
来自专栏腾讯移动品质中心TMQ的专栏

【UTP自动化测试平台系列之终章】前端探索之路

UTP自动化测试平台是TMQ的一个联合项目,目的是方便大家更好地开展自动化测试建设工作,减少重复平台建设的成本,提高产品的自动化测试效率。但是随着项目规模与用户...

431110
来自专栏假装我会写代码

基于 Composer 的 PHP 模块化开发

35050
来自专栏木子昭的博客

推荐好玩一些的GitHub项目27天成为Java大神c语言220个经典案例sublime text 优秀插件推荐为Linux一键安装好看的字体树莓派网易云音乐

快速配置vim ? 快速配置vim 打开终端,执行下面的命令就自动安装好了: wget -qO- https://raw.github.com/...

48790
来自专栏极客猴

这个 Github 仓库因你而精彩

我于今年 6 月份创建自己微信读者群。群组人数从一开始零星几人到现在的两百多号人。群里面的小伙伴都非常好学,经常来群里面讨论技术问题。我自己从中学到很多知识,也...

19120
来自专栏GIS讲堂

echart实现地图的逐级钻取

本文讲述在echart下基于行政区划的地图逐级钻取功能。主要实现: 1、点击地图展示下一级地图; 2、通过区域导航可返回上一级地图;

43330

扫码关注云+社区

领取腾讯云代金券