上节主要介绍了安装搭建和简单的运行一个job,但是真正使用到实际场景还是需要了解更多的知识,比如任务怎么互相依赖,可以选择指定的节点来执行吗等等一些相关的操作会在本节中进行介绍
附上:
喵了个咪的博客:...官网: https://azkaban.github.io
官方文档地址: http://azkaban.github.io/azkaban/docs/latest
一 ,任务依赖
之前说的都是部署方式和一个简单的运行例子...azkaban_job/
二 ,指定exec运行对应的任务
笔者遇到了难题,现在Azkaban管着3个exec,其中2个是hadoop的一个是docker相关的,但是Azkaban选择执行任务的节点是更具节点的资源来调度的...在运行任务的时候添加一个变量
PS:局限虽然可以指定在一台节点上执行,但是失去了高可用的优势,如果有不同类型的任务建议用多套azkaban
三 , 参数传递
当我在编写程序的时候常常会用到变量来去传递使用...,使用变量的好处在于程序会应该不同的变量完成不同的事情,那么对于任务来说也是同样一个道理,比如我传递的数据库的链接地址的不同就决定了从哪个数据库获取源数据,为了程序的泛用性变量是不可缺少的,azkaban