retries --> 任务失败时自动重启的次数 retry.backoff --> 每一次任务尝试重启时之间等待的毫秒数 working.dir --> 可以重新指定任务执行的工作目录,默认为目前正在运行的任务的工作目录 failure.emails --> 任务失败时的邮件提醒设置,以逗号分隔多个邮箱 success.emails --> 任务成功时的邮件提醒设置,以逗号分隔多个邮箱 notify.emails --> 任务无论失败还是成功都邮件提醒设置,以逗号分隔多个邮箱 dependencies--> 定义该文件依赖的文件,值为被依赖文件的文件名,多个目标以逗号分隔,不加扩展名
1.创建job描述文件
vim command.job
#command.job
type=command
command=echo 'hello'
2.将job资源文件打包成zip文件
zip command.job
3.通过azkaban的web管理平台创建project并上传job压缩包
首先创建project
上传zip包
4.启动执行该job
1.创建有依赖关系的多个job描述
第一个job
vim one.job
#one.job
type=command
command=echo hello
第二个job:two.job依赖one.job
vim two.job
# bar.job
type=command
dependencies=one // 依赖关系
command=echo two
2.将所有job资源文件打到一个zip包中
3.在azkaban的web管理界面创建工程并上传zip包
4.启动工作流flow
1.创建job描述文件
vim hdfs.job
#hdfs.job
type=command
command=/home/hadoop/apps/hadoop-2.6.1/bin/hdfs dfs -mkdir /azkaban
2.将job资源文件打包成zip文件
3.通过azkaban的web管理平台创建project并上传job压缩包
4.启动执行该job
1.创建job描述文件,及mr程序jar包(示例中直接使用hadoop自带的example jar)
vim mrwc.job
#mrwc.job
type=command
command=/home/hadoop/apps/hadoop-2.7.3/bin/hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /wordcount/input /wordcount/output
2.将所有job资源文件打到一个zip包中
3.在azkaban的web管理界面创建工程并上传zip包
4.启动job
● 创建job描述文件和hive脚本
Hive脚本:az.sql
use default;
drop table aztable;
create table aztable(id int,name string) row format delimited fields terminated by ',';
load data inpath '/azhive' into table aztable;
create table aztwotable as select * from aztable;
insert overwrite directory '/azhive' select count(1) from aztable; // 将会在HDFS的 /azhive 目录下保存查询出的表的数据条数
Job描述文件:hive.job
vim hive.job
#hive.job
type=command
command=/home/hadoop/apps/hive/bin/hive -f 'az.sql' // hive -f 执行hql文件中的语句; hive -e直接执行hql语句hive -e "select * from emp"
如果hive 和 Azkaban 不在同一台机器
vim hive.job
#hive.job
type=command
command=ssh hq555 /root/hadoop/apps/hive/bin/hive -f 'az.sql'
● 将所有job资源文件打到一个zip包中
● 在azkaban的web管理界面创建工程并上传zip包
● 启动job