Azkaba内置的任务类型支持command、java
创建文本文件,更改名称为mycommand.job 注意后缀.txt一定不要带上,保存为格式为UFT-8 without bom
内容如下
type=command
command=echo 'hello world'
通过azkaban的web管理平台创建project并上传job压缩包 首先创建project
上传zip包
第一个job:foo.job
type=command
command=echo 'foo'
第二个job:bar.job依赖foo.job
type=command
command=echo 'bar'
dependencies=foo
type=command
command=/export/servers/hadoop‐3.1.1/bin/hdfs dfs ‐mkdir /azkaban
MR 任务依然可以使用command的job类型来执行
type=command
command=/export/servers/hadoop‐3.1.1/bin/hadoop jar hadoop‐mapreduce‐ examples‐3.1.1.jar pi 3 5
Hive脚本: hive.sql
create database if not exists azhive;
use azhive;
create table if not exists aztest(id string,name string) row format
delimited fields terminated by '\t';
type=command
command=/export/servers/apache‐hive‐3.1.1‐bin ‐f 'hive.sql'
使用azkaban的scheduler功能可以实现对我们的作业任务进行定时调度功能
*/1 * ? * *
每分钟执行一次定时调度任务0 1 ? * *
每天晚上凌晨一点钟执行这个任务0 */2 ? * *
每隔两个小时定时执行这个任务30 21 ? * *
每天晚上九点半定时执行这个任务