腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >示例Oozie作业在Hue中工作，但不通过命令行工作: SparkMain not

问示例Oozie作业在Hue中工作，但不通过命令行工作: SparkMain not
EN

Stack Overflow用户

提问于 2016-05-24 02:25:10

回答 1查看 1.4K关注 0票数 2

我已经成功地运行了Hue Oozie工作流编辑器(在Cloudera5.5.1 QuickStart VM中)中提供的示例Spark工作流(“通过启动Spark程序复制文件”)。

我现在尝试使用oozie命令行工具手动运行它：

oozie job -oozie http://localhost:11000/oozie -config job.properties -run

工作流XML基本不变--我已将其复制到HDFS，并具有以下job.properties

nameNode=hdfs://localhost:8020
jobTracker=localhost:8032
oozie.wf.application.path=/user/cloudera/workflows/spark-scala/spark-scala.xml
input=/user/hue/oozie/workspaces/data/sonnets.txt
output=here

该作业被接受，并出现在Hue web仪表板中，但几秒钟后就会被终止，日志报告：

启动程序异常: java.lang.ClassNotFoundException:未找到类org.apache.oozie.action.hadoop.SparkMain

这里有什么问题？

apache-spark

oozie

hue

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-05-24 02:25:10

默认情况下，Oozie不包括火花操作的库--您需要在job.properties中添加以下内容

oozie.use.system.libpath=true

(单击Hue仪表板中先前成功的Hue工作流，您可以选择Configuration选项卡来查看Hue提供的属性)

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/37410831

复制

如何在HUE上通过oozie调用Pig工作流

jar 大数据

执行pig脚本将name_age_comma.txt文件中的逗号,转为竖线|，并输出到/user/hue/learn_oozie/mazy_pig_1/output路径下。

create17

2019/03/12

8690

如何在HUE上通过oozie调用Spark工作流

spark jar scala

访问ip:8888/about/#step2，点击下载Oozie Editor/Dashboard，可以下载应用程序示例。如下图所示：

create17

2019/03/12

2.7K0

如何在HUE上通过oozie调用Hive SQL工作流

hive 大数据 sql jar

执行Hive SQL脚本查询mytable表数据前10条，field以”\t”分割，并输出到hdfs指定路径。

create17

2019/03/12

1K0

如何在HUE上通过oozie调用Hive SQL工作流

hive 大数据 sql jar

特别说明：该专栏文章均来源自微信公众号《大数据实战演练》，欢迎关注！

create17

2019/02/20

2.7K0

如何在Hue中创建Ssh的Oozie工作流

其他

前面Fayson讲过《如何使用Hue创建Spark1和Spark2的Oozie工作流》和《如何使用Hue创建Spark2的Oozie工作流（补充）》，在创建Oozie工作流时会遇到需要登录到其它服务器上去执行脚本或命令，这个时候就会用到Oozie的Ssh Action。本文主要介绍如何创建Ssh Action的Oozie工作流。

Fayson

2018/03/29

2.1K0

如何使用Hue创建Spark1和Spark2的Oozie工作流

spark

使用Hue可以方便的通过界面制定Oozie的工作流，支持Hive、Pig、Spark、Java、Sqoop、MapReduce、Shell等等。Spark？那能不能支持Spark2的呢，接下来本文章就主要讲述如何使用Hue创建Spark1和Spark2的Oozie工作流。

Fayson

2018/03/29

5.1K1

在Kerberos环境使用Hue通过Oozie执行Sqoop作业报错异常分析

hive ssh https 网络安全云数据库 SQL Server

关于Sqoop抽取Hive Parquet表数据到MySQL可以参考Fayson前面的文章《Sqoop抽取Hive Parquet表数据到MySQL异常分析》。

Fayson

2018/03/29

2.2K0

如何使用Hue上创建一个完整Oozie工作流

hive spark 专用宿主机云数据库 SQL Server github

在使用CDH集群中经常会有一些特定顺序的作业需要在集群中运行，对于需要多个作业顺序执行的情况下，如何能够方便的构建一个完整的工作流在CDH集群中执行，前面Fayson也讲过关于Hue创建工作流的一系列文章具体可以参考《如何使用Hue创建Spark1和Spark2的Oozie工作流》、《如何使用Hue创建Spark2的Oozie工作流（补充）》、《如何在Hue中创建Ssh的Oozie工作流》。本篇文章主要讲述如何使用Hue创建一个以特定顺序运行的Oozie工作流。本文工作流程如下：

Fayson

2018/03/29

4.3K0

如何使用Hue创建Spark2的Oozie工作流（补充）

spark shell hadoop bash bash 指令

目前Oozie 的 SparkAction 仅支持Spark1.6, 而并不支持Spark2, 这是 CDH Spark2已知的局限性（https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html#ki_oozie_spark_action

Fayson

2018/03/29

3.1K0

Hue中使用Oozie创建Shell工作流在脚本中切换不同用户

大数据

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 1.文档编写目的前面Fayson讲过《Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析》，如果不在Shell脚本中使用sudo命令该如何切换到其它呢？本篇文章主要讲述如何Hue中使用Oozie创建Shell工作流在脚本中切换用户执行Hadoop命令。本文脚本中的主要流程如下：内容概述 1.编写测试shell脚本 2.准备

企鹅号小编

2018/02/01

1.1K0

Hue中使用Oozie创建Shell工作流在脚本中切换不同用户

shell ssh hive github bash

前面Fayson讲过《Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析》，如果不在Shell脚本中使用sudo命令该如何切换到其它呢？本篇文章主要讲述如何Hue中使用Oozie创建Shell工作流在脚本中切换用户执行Hadoop命令。本文脚本中的主要流程如下：

Fayson

2018/03/29

1.8K0

Oozie工作流分析

ios xml jar node.js 大数据

我们在实际的生成操作中经常需要将一些任务在晚上开启进行定时执行，或者多个作业，例如hive,mapreduce,shell等任务的组合调用。

Tim在路上

2020/08/04

1.2K0

Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析

shell bash bash 指令 ssh github

在使用Hue创建Ssh的Oozie工作流，在Shell脚本中执行sudo命令失败，异常如下：

Fayson

2018/03/29

1.6K0

大数据工作流Oozie

hadoop hive mapreduce ios

因为工作需要用到oozie，但是网上的资料越看越迷茫，经过很大的努力，终于折腾清楚了，这里，做一个总结，帮助后来者更好地进行入门，当然，粗鄙之言，难免疏漏，欢迎交流指正。

凹谷

2020/04/11

4870

使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析

ssh github https

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.问题描述 Fayson前面的一篇文章讲过《如何在Hue中创建Ssh的Oozie工作流》。但当重定向输出日志时，会出现异常。 Ssh Action的Oozie工作流创建如下：运行异常日志如下,提示：代码块部分可以左右滑动查看噢 2.解决方法通过上述方式创建Ssh Action工作流主要是由于”>>

企鹅号小编

2018/01/12

1.2K0

使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析

ssh shell github bash bash 指令

Fayson前面的一篇文章讲过《如何在Hue中创建Ssh的Oozie工作流》。但当重定向输出日志时，会出现异常。

Fayson

2018/03/29

1.6K0

oozie 重新提交作业

数据库

　　在oozie的运行过程当中可能会出现错误，比如数据库连接不上，或者作业执行报错导致流程进入suspend或者killed状态，这个时候我们就要分析了，如果确实是数据或者是网络有问题，我们比如把问题解决了才可以重新运行作业。重新运行作业分两种情况，suspend状态和killed状态的，这两种状态是要通过不同的处理方式来处理的。　　（1）suspend状态的我们可以用resume方式来在挂起的地方恢复作业，重新运行，或者是先杀掉它，让它进入killed状态，再进行重新运行。 public sta

岑玉海

2018/03/01

1.2K0

0498-Hue Sqoop1的编辑器中执行Sqoop作业失败问题分析

云数据库 SQL Server jdbc hadoop 大数据专用宿主机

Hue做为Hadoop平台的一款UI工具，提供了丰富的功能。可以通过Hue访问Hadoop的文件系统、Hive、Impala、HBase、Solr、Sqoop等。集成了Oozie实现界面化工作流调度流程，同样也可以集成第三方APP及SQL等。本篇文章Fayson主要介绍在使用Hue提供的Sqoop1编辑功能执行Sqoop作业异常问题分析。

Fayson

2019/11/27

1.4K0

0800-5.16.2-如何禁用Hue中Oozie的部分Action

shell 专用宿主机

在CDH集群中是通过Hue中的Oozie来进行作业调度的，同样Oozie也支持多种调度Action。为了防止业务用户使用存在风险的Action（如：Shell Action可以通过编写Shell命令获取操OS的信息问题），现需要将Hue中部分存在风险的Action禁用，本篇文章主要介绍如何禁用Hue中Oozie的部分Action。

Fayson

2020/08/20

1.4K0

Oozie分布式工作流——流控制

分布式

最近又开始捅咕上oozie了，所以回头还是翻译一下oozie的文档。文档里面最重要就属这一章了——工作流定义。一提到工作流，首先想到的应该是工作流都支持哪些工作依赖关系，比如串式的执行，或者一对多，或者多对一，或者条件判断等等。Oozie在这方面支持的很好，它把节点分为控制节点和操作节点两种类型，控制节点用于控制工作流的计算流程，操作节点用于封装计算单元。本篇就主要描述下它的控制节点... 背景先看看oozie工作流里面的几个定义： action,一个action是一个独立的任务，比如mapred

用户1154259

2018/01/17

1.1K0

相似问题

Rest用于通过HUE创建Oozie工作流

使用Hue通过Shell脚本在oozie中调度sqoop作业

Sqoop通过bash工作，但不能通过oozie工作

基于Hue的MapReduce oozie工作流

通过Uber Jar与Oozie和Hue管理星火作业

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问示例Oozie作业在Hue中工作，但不通过命令行工作: SparkMain not
EN

回答 1

Stack Overflow用户

Rest用于通过HUE创建Oozie工作流

使用Hue通过Shell脚本在oozie中调度sqoop作业

Sqoop通过bash工作，但不能通过oozie工作

基于Hue的MapReduce oozie工作流

通过Uber Jar与Oozie和Hue管理星火作业

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问示例Oozie作业在Hue中工作，但不通过命令行工作: SparkMain notEN

回答 1

Stack Overflow用户

Rest用于通过HUE创建Oozie工作流

使用Hue通过Shell脚本在oozie中调度sqoop作业

Sqoop通过bash工作，但不能通过oozie工作

基于Hue的MapReduce oozie工作流

通过Uber Jar与Oozie和Hue管理星火作业

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问示例Oozie作业在Hue中工作，但不通过命令行工作: SparkMain not
EN