首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Chronos:数据中心的任务调度器(job scheduler)

Chronos:数据中心的任务调度器(job scheduler)

作者头像
大数据和云计算技术
发布2018-03-08 10:35:42
1.9K0
发布2018-03-08 10:35:42
举报

大家周二好,不知不觉工作半周了。今天给大家介绍一个扩展性比较强的开源的调度程序,在研究数据中心调度的兄弟可以好好研究下。

1、Chronos来源

Chronos现在是一家初创公司 Mesosphere在维护,该公司的联合创始人是前Airbnb的工程师Florian Leibert(也曾在Twitter工作过)和Tobias Knaup。 Chronos在Airbnb是用来替代cron,是一个跑在mesos上的分布式的,可靠的调度scheduler。

Mesosphere公司相关信息大家可以到以下链接看看:http://mesosphere.io/

2、Chronos架构

Chronos的架构可以看本文最上面封面的图片。

Chronos架在mesos上,负责定时任务触发,解决任务之间的重复调用,依赖关系。任务通过mesos提交给下面的Hive,Pig等框架执行,元数据存放在DB中。

Chronos的支持HA。

3、Chronos扩展性

Chronos借助mesos的master/slave架构,支持sh脚本,甚至通过异步的方式执行远端文件传输和脚本,可以通过扩展基本支持hadoop以及传统数据库,脚本等在本地和远端的执行调用。

支持标准的ISO8601的调度,可定义作业执行完成后的触发器,支持任意长度的依赖链。

4、功能特性

· 基于Web的UI

· 8601 Repeating Interval Notation

· Handles dependencies

· Job Stats (e.g. 50th, 75th, 95th and 99th percentile timing, failure/success)

· Fault Tolerance (Hot Master)

· Configurable Retries

· Multiple Workers (i.e. Mesos Slaves)

5、应用场景以及当前存在的问题:

(1)适合数据中心异构集群批任务(长周期,重复执行)统一调度和管理。

(2)可以通过Mesos承担统一管理资源,如果不需要mesos统一管理资源,mesos退化成通信框架。

(3)不适合对实时性要求高的任务(秒级),不适合单次执行触发的任务。

(4)Web UI还比较简陋,没有以图的方式显示任务的依赖关系。

(5)任务调度里面没有优先级。

(6)没有统计任务资源使用情况,调度信息反馈统计不足。

(7)没有调度自学习能力,不能自动调优调度效率。

6、项目主页:

http://airbnb.github.io/chronos/#Describing%20the%20Dependency%20Graph

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2014-05-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据和云计算技术 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、Chronos来源
  • 2、Chronos架构
  • 3、Chronos扩展性
  • 4、功能特性
  • 5、应用场景以及当前存在的问题:
  • 6、项目主页:
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档