前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >快速学习-Azkaban概述

快速学习-Azkaban概述

作者头像
cwl_java
发布2020-02-19 11:18:06
5020
发布2020-02-19 11:18:06
举报
文章被收录于专栏:cwl_Java

一 概述

1.1 什么是 Azkaban

Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的 key:value 对的方式,通过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 job 配置文件建立任务之间的依赖关系,并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。

1.2 为什么需要工作流调度系统

  1. 一个完整的数据分析系统通常都是由大量任务单元组成:Shell 脚本程序,Java 程序,MapReduce 程序、Hive 脚本等
  2. 各任务单元之间存在时间先后及前后依赖关系
  3. 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;例如,我们可能有这样一个需求,某个业务系统每天产生 20G 原始数据,我们每天都要对其进行处理,处理步骤如下所示:
    1. 通过 Hadoop 先将原始数据上传到 HDFS 上(HDFS 的操作);
    2. 使用 MapReduce 对原始数据进行清洗(MapReduce 的操作);
    3. 将清洗后的数据导入到 hive 表中(hive 的导入操作);
    4. 对 Hive 中多个表的数据进行 JOIN 处理,得到一张 hive 的明细表(创建中间表);
    5. 通过对明细表的统计和分析,得到结果报表信息(hive 的查询操作);
在这里插入图片描述
在这里插入图片描述

1.3 Azkaban 特点

  1. 兼容任何版本的 hadoop
  2. 易于使用的 Web 用户界面
  3. 简单的工作流的上传
  4. 方便设置任务之间的关系
  5. 调度工作流
  6. 模块化和可插拔的插件机制
  7. 认证/授权(权限的工作)
  8. 能够杀死并重新启动工作流
  9. 有关失败和成功的电子邮件提醒

1.4 常见工作流调度系统

  1. 简单的任务调度:直接使用 crontab 实现;
  2. 复杂的任务调度:开发调度平台或使用现成的开源调度系统,比如 ooize、azkaban 等

1.5 Azkaban 的架构

Azkaban 由三个关键组件构成:

在这里插入图片描述
在这里插入图片描述
  1. AzkabanWebServerAzkabanWebServer 是整个 Azkaban 工作流系统的主要管理者,它用户登录认证、负责 project 管理、定时执行工作流、跟踪工作流执行进度等一系列任务。
  2. AzkabanExecutorServer:负责具体的工作流的提交、执行,它们通过 mysql 数据库来协调任务的执行。
  3. 关系型数据库(MySQL):存储大部分执行流状态,AzkabanWebServerAzkabanExecutorServer 都需要访问数据库。

1.6 Azkaban 下载地址

下载地址:http://azkaban.github.io/downloads.html

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020/02/12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一 概述
    • 1.1 什么是 Azkaban
      • 1.2 为什么需要工作流调度系统
        • 1.3 Azkaban 特点
          • 1.4 常见工作流调度系统
            • 1.5 Azkaban 的架构
              • 1.6 Azkaban 下载地址
              相关产品与服务
              数据库
              云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档