首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何在HUE上通过oozie调用Spark工作流

如何在HUE上通过oozie调用Spark工作流

作者头像
create17
发布2019-03-12 17:22:41
2.6K0
发布2019-03-12 17:22:41
举报

每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定。

放弃不难,但坚持很酷~

HUE版本:3.12.0 Spark版本:1.6.3 Ambari版本:2.6.1.0 HDP版本:2.6.4 前言 通过浏览器访问ip:8888登陆HUE界面,首次登陆会提示你创建用户,这里使用账号/密码:hue/hue登陆。

一、背景

访问ip:8888/about/#step2,点击下载Oozie Editor/Dashboard,可以下载应用程序示例。如下图所示:

下载完成之后,访问workflow编辑器,会看到spark的程序示例。在这对该示例如何执行进行讲解。如下两图所示:

二、业务场景

通过启动Spark Java程序复制文件到HDFS文件系统中。

三、上传jar包

点击spark示例程序,点击“工作区”,如下图所示:

将本地/usr/hdp/2.6.4.0-91/spark/lib目录下的jar包上传到上述工作区的lib文件夹内,执行命令:

sudo -u hdfs hadoop fs -put /usr/hdp/2.6.4.0-91/spark/lib/*  /user/hue/oozie/workspaces/workflows/spark-scala/lib/

执行结果如图所示:

四、检查Workflow配置

点击“编辑”,出现如下图所示,其中jar/py名称是oozie-examples.jarmain class(主类)是org.apache.oozie.example.SparkFileCopy,参数为:${input}${output}。在这里,我们保持默认配置。如下图所示:

点击“设置”,可以更改Workflow设置,其中变量input的值就是我们要复制的文件路径。在这里,我们保持默认配置,如下图所示:

五、执行Workflow

点击“执行”按钮,选择output输出路径,这里我选择输出到该示例的工作区: /user/hue/oozie/workspaces/workflows/spark-scala/output,点击“提交”。

备注:输出路径会自动生成,不能选择已有文件。

六、查看结果

打开/user/hue/oozie/workspaces/workflows/spark-scala/output,会生成三个文件,如下图所示:

七、总结

HUE上通过oozie调用Spark工作流:

  • 本篇文章是使用的HUE官方自带的Spark示例,我们需要提前下载。
  • 上传Spark相关jar包到该Spark Workflow的工作区
  • 检查Workflow配置
  • 选择输入输出参数,执行Workflow
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-02-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据实战演练 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、背景
  • 二、业务场景
  • 三、上传jar包
  • 四、检查Workflow配置
  • 五、执行Workflow
  • 六、查看结果
  • 七、总结
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档