如何在Oozie中创建有依赖的WorkFlow
如何在Oozie中创建有依赖的WorkFlow
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
Fayson的github： https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1.文档编写目的
在使用Hue创建WorkFlow时，单个WorkFlow中可以添加多个模块的依赖，使各个模块之间在WorkFlow内产生依赖关系，如果对于一个WorkFlow被其它多个WorkFlow依赖（如：AWorkFlow执行成功后，BWorkFlow和CWorkFlow依赖AWorkFlow的执行结果），这时不可能将AWorkFLow作为BWorkFlow和CWorkFlow中的一个处理模块来，这样会重复执行AWorkFlow，可能会导致输入BWorkFlow和CWorkFlow的输入不一致等问题，那本篇文章Fayson主要介绍如何使用Oozie的Coordinator功能来实现WorkFlow之间的依赖。
- 内容概述：
1.环境准备
2.创建测试WorkFlow与Coordinator
3.WorkFlow依赖测试
4.总结
- 测试环境：
1.CM5.14.3/CDH5.14.2
2.操作系统版本为Redhat7.3
3.采用root用户进行操作
4.集群已启用Kerberos
2.环境准备
1.由于是Kerberos环境，在shell脚本中需要一个keytab，生成一个hiveadmin.keytab文件
[root@cdh01 ~]# kadmin.local
Authenticating as principal hbase/admin@FAYSON.COM with password.
kadmin.local: xst -norandkey -k hiveadmin.keytab hive/admin@FAYSON.COM（可左右滑动）
使用klist命令查看导出的keytab文件是否正常
[root@cdh02 wordcount]# klist -ek hiveadmin.keytab（可左右滑动）
2.准备两个shell脚本用于创建两个WorkFlow
generator_wordcount.sh脚本内容如下：
#!/bin/bash
kinit -kt hiveadmin.keytab hive/admin@FAYSON.COM
INPUT_HDFS=/benchmarks/wordcount/input
DATASIZE=1073741824
hadoop fs -rmr ${INPUT_HDFS} || true
hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar randomtextwriter -Dmapreduce.randomtextwriter.totalbytes=${DATASIZE} ${INPUT_HDFS}（可左右滑动）
wordcount.sh脚本内容如下：
#!/bin/bash
kinit -kt hiveadmin.keytab hive/admin@FAYSON.COM
INPUT_HDFS=/benchmarks/wordcount/input
OUTPUT_HDFS=/benchmarks/wordcount/output
hadoop fs -rmr $OUTPUT_HDFS
NUM_REDS=160
hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount \
-Dmapreduce.input.fileinputformat.split.minsize=1073741824 \
-Dmapreduce.reduce.tasks=${NUM_REDS} \
${INPUT_HDFS} ${OUTPUT_HDFS}
hadoop fs -rmr ${INPUT_HDFS}（可左右滑动）
3.创建测试WorkFlow
这里创建Shell类型的Oozie工作流就不再详细的说明，可以参考Fayson前面的文章《Hue中使用Oozie创建Shell工作流在脚本中切换不同用户》中有介绍如何创建一个shell类型的Oozie工作流，这里需要注意的是Kerberos环境下，我们需要将keytab文件也上传至对应WorkFlow的WorkSpace/lib目录下，如下图所示：
1.创建一个GeneratorWorkFlow
2.创建一个WordCountWorkFlow
这两个WorkFlow的依赖关系，只有GeneratorWorkFlow执行成功，生成了WordCount的输入数据后，WordCountWorkFlow才可以执行，否则WordCountWorkFlow一直处于等待状态。
4.创建Coordinator
在Hue中创建Oozie的Coordinator即对应Hue中的功能为Scheduler
1.先创建一个生成数据的Coordinator，用于定时生成WordCount测试数据
2.创建一个WordCountSchedule，用于定时的去执行WordCount作业
注意：下面的配置比较关键，通过对GeneratorWorkflow工作流输出的/benchmarks/wordcount/input目录进行判断，如果满足条件则执行WordCountWorkFlow工作流。
完成上述两个Schedule的创建后，保存配置并启动该Schedule。
5.WorkFlow依赖测试
1.点击Jobs可以看到如下两个正在运行的WorkFlow
2.通过Yarn查看作业的执行情况，这里的作业已经执行成功了，我们通过时间来分析
3.通过GeneratorWorkflow工作流的作业执行情况可以看到
在2018-06-10 23:10:00看到GeneratorWorkflow向集群提交了作业，与我们定义的启动时间一致，到2018-06-10 23:10:14可以看到开始执行生成数据的MR作业，并成功执行，作业执行结束时间为2018-06-10 23:10:34。
4.通过WordCountWorkFlow工作流的作业执行情况可以看到
在2018-06-10 23:11:00才启动WordCountWorkFlow工作流，本应该在2018-06-10 23:03:00执行的工作流一致处于等待状态，直到2018-06-10 23:11:00GeneratorWorkflow工作流执行成功，生成了/benchmarks/wordcount/input目录的数据后，WordCountWorkFlow工作流才开始执行，可以看到WordCount作业的开始执行时间为2018-06-10 23:11:14 ，在生成了WordCount测试数据后才执行。GeneratorWorkflow工作流执行成功后与WordCountWorkFlow的执行时间间隔为1分钟，即为我们在WordCountSchedule中配置的每个一分钟检查一次。
5.通过如上作业执行情况分析，可以得出WordCountWorkFlow工作流的执行是依赖GeneratorWorkflow工作流
6.总结
1.在创建有依赖关系的WorkFlow时，我们可以通过Coordinator的方式来是实现工作流之间的依赖关系，可以避免被依赖的WorkFlow工作流被重复执行。
2.Coordinator是一个定时执行WorkFlow的调度工具，可以基于时间与数据生成为条件的方式触发。
3.Coordinator指定HDFS的数据目录，可以使用${YEAR}、${MONTH}等EL表达式的方式进行设置。
4.done_flag即为数据目录生成的文件标识，若未指定则默认为_SUCCESS文件，若指定为空，则表示文件夹本身。
提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操