如何使用Hue创建Spark2的Oozie工作流（补充）
如何使用Hue创建Spark2的Oozie工作流（补充）
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
1.文档编写目的
目前Oozie 的 SparkAction 仅支持Spark1.6, 而并不支持Spark2, 这是 CDH Spark2已知的局限性（https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html#ki_oozie_spark_action
），作为临时的解决方案，您可以使用 Oozie 的 ShellAction 来调用 Spark2作业。继上一篇如何使用Hue创建Spark1和Spark2的Oozie工作流的实现方式外，本文档主要讲述使用shell的方式实现Hue创建Spark2的Oozie工作流。
- 内容概述
- 创建shell脚本
- 创建Oozie工作流
- 作业调度测试
- 测试环境
- Spark2.1.0
- Hue3.9.0
- Oozie4.1.0
2.创建sparkJob.sh脚本
创建一个shell脚本用于提交Spark2作业，此处使用Spark2默认的例子Pi测试，内容如下：
[ec2-user@ip-172-31-22-86 ~]$ vim sparkJob.sh
#!/bin/bash
spark2-submit --master yarn\
--num-executors 4 --driver-memory 1g\
--driver-cores 1 --executor-memory 1g\
--executor-cores 2\
--class org.apache.spark.examples.SparkPi /opt/cloudera/parcels/SPARK2/lib/spark2/examples/jars/spark-examples_2.11-2.1.0.cloudera1.jar
在命令行测试脚本是否正常运行
[ec2-user@ip-172-31-22-86 ~]$ sh sparkJob.sh 
作业运行成功
3.创建Oozie工作流
1.创建一个Oozie的工作流
2.打开Spark2Shell的WorkSpace
3.将sparkJob.sh脚本上传至该工作空间的lib目录下
4.创建Shell类型的Oozie工作流
5.选择该工作流WorkSpace空间lib目录下的sparkJob.sh脚本
6.报错Oozie工作流
7.保存成功后点击按钮运行
8.Yarn的8088显示
9.运行成功
4.总结
目前Oozie 的 SparkAction 仅支持Spark1.6, 而并不支持Spark2, 这是 CDH Spark2已知的局限性，作为临时的解决方案, 您可以使用 Oozie 的 ShellAction 来调用 Spark2作业。
通过使用Shell脚本的方式向集群提交Spark2的作业，注意在shell脚本中指定的spark-examples_2.11-2.1.0.cloudera1.jar包，要确保在集群的所有节点相应的目录存在，否则会执行失败。目录访问权限问题也会导致执行失败。
醉酒鞭名马，少年多浮夸！ 岭南浣溪沙，呕吐酒肆下！挚友不肯放，数据玩的花！ 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
