一个完整的数据分析系统通常都是由大量任务单元组成
各任务单元之间存在时间先后及前后依赖关系, 为了很好地组织起这样的复杂执行计划, 需要一个工作流调度系统来调度执行;
例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对 其进行处理,处理步骤如下所示:
简单的任务调度:直接使用linux的crontab来定义; 复杂的任务调度:在hadoop领域,常见的工作流调度器有Oozie, Azkaban,Cascading, 等
下面的表格对上述四种hadoop工作流调度器的关键特性进行了比较,尽管这些工作流调 度器能够解决的需求场景基本一致,但在设计理念,目标用户,应用场景等方面还是存 在显著的区别,在做技术选型的时候,可以提供参考
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特 定的顺序运行一组工作和流程。
Azkaban定义了一种KV文件(properties)格式来建立任务之间的依赖关系,并提供一个易 于使用的web用户界面维护和跟踪你的工作流。
它有如下功能特点: