我正在尝试在oozie 4.2.0 (HDP 2.3.x)上安排spark 1.5.2作业。Spark 1.5.2已经安装在外部，我没有使用hortonworks提供的默认spark版本。-spark-assembly-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar
-spark-examples-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.j
浏览 3提问于2016-08-04得票数 1
2回答
使用Hortonworks HDP 2.3预览沙箱( oozie :4.2.0.2.3.0.0-2130，spark:1.3和Hadoop:2.7.1.2.3.0.0-2130)，我试图使用“纱线-集群”作为主控调用oozie火花操作。中提供的示例用于在“本地”主版上运行星火操作。我有两个问题
我们如何使火花
浏览 0提问于2015-06-17得票数 2
是否有人通过HDP中的Oozie成功地运行了火花操作？
我使用Oozie 4.2.0运行在HDP 2.3.2上。火花动作被设置为在纱线群集模式下运行.火花作业是一个虚拟作业，没有输入文件。我首先在上命中了错误，并通过从hdfs火花库文件夹中删除以下内容(在我的例子中是：/user/oozie/share/lib/lib_20151116201309/spark</em
浏览 3提问于2016-03-15得票数 0
1回答
因此，我开始编写自己的Oozie工作流，其中包含Apache操作，事情是，尽管我清楚地使用Scala2.11.8和Spark2.3.0打包了我的源代码，但这条消息说
有一个包含Hortonworks沙箱的码头容器，运行在ec2机器上我已经使用命令行更新了Oo
浏览 12提问于2019-10-18得票数 1
1回答
在HDP 2.3.4上，我试图测试Oozie的SparkAction。我编写的Spark (1.5.2)应用程序非常简单，只用于测试Oozie (4.2.0)：val count此应用程序在使用spark-submit时工作，既适用于纱线客户端模式，也适用于纱线集群模式.errorMes
浏览 1提问于2016-01-19得票数 2
回答已采纳
我在HDP 2.5.3上运行oozie 4.2.0。火花动作设置为在纱线-客户端模式下运行。Spark作业用于从单元表中获取数据，处理数据并将其存储在HDFS中。但是当我尝试提交来自火花行动的火花申请时，我得到的是NullPointerException。>--jars /usr/hdp/current/spark-client/lib/datanucleus-api-
浏览 2提问于2017-06-29得票数 1
回答已采纳
当我试图杀死一个从oozie工作中调用的火花作业时，它并没有被杀死。这只是显示工作流作业被杀了。然后，我从以下命令中检查了工作流日志它在日志中显示了这个错误。org.apache.oozie.command.CommandException: E0800: Action it is not running its in [KILLED] state, action[0006849-18081913104
浏览 0提问于2018-09-03得票数 1
回答已采纳
我在Oozie中遇到过几个SparkAction作业的例子，其中大多数都是用Java语言编写的。workflow.xml <start to='spark-node' />
<action name='spark-node
浏览 2提问于2015-07-16得票数 1
我正在使用Python3.6.8在Ambari上运行Spark版本2.3.0.2.6.5.1175-1。2701) 22/06/15 12:29:31 INFO StateStoreCoordinatorRef:在线程"Thread-10“java.lang.NoClassDefFoundError中注册的StateStoreCoordinatorjava.lang.ClassLoader.loadClass(ClassLoader.java:357) . 12多出22/06/15 12:2
浏览 34提问于2022-06-15得票数 0
回答已采纳
2回答
但是当我从oozie运行作业时，最后会出现以下错误。-- Bash script to do the spark-submit.. --> <spark xmlns="uri:oozie:spark-action:0.1">
<job-tracker{wf:errorMessage(wf:lastErrorNode())}]</m
浏览 0提问于2018-03-18得票数 3
回答已采纳
这个问题是我上一个问题的继续，这个问题看起来已经解决了，但这里是另一个问题。KeyError: 'SPARK_HOME'
然后我遇到了和，它们实际上是针对Spark1.3.0链接中建议<em
浏览 1提问于2015-07-17得票数 2
使用oozie运行火花动作工作流有问题。如果驱动程序是在节点(172.12.0.27)上生成的，则日志配置是始终正确的。如果驱动程序在其他节点上生成(172.12.0.18,172.12.0.20)，则日志配置总是错误的。我怎么才能追踪问题？如果使用submit与自定义log4j配置文件，则任何节点上都没有问题.工作流出错了.
浏览 1提问于2019-08-26得票数 0
我正在构建一个Spark应用程序(目前是1.6.0)，用于在Cloudera上运行Oozie in Hue。我们希望使用Hue和Oozie，因为运行这些作业的人将更习惯使用基于浏览器的界面，而不是在Oozie XML配置中胡乱操作或在命令行上触发spark-submit。我已经知道如何通过Hue (3.10)运行一个基本的Oozie/Spark Action。但我们希望能
浏览 1提问于2017-02-06得票数 0
假设我们有一个spark驱动程序，如下所示： public static void main(String[] args) { SparkConf conf = newSystem.out.println("Lines with a: " + numAs +
浏览 0提问于2016-09-09得票数 6
我有一个带有Spark2.1的Hortonworks纱线集群。
但是，我想使用spark 2.3+运行我的应用程序(因为使用中的第三方ML库需要它)。我们必须使用Spark2.1版本的spark-submit，还是必须使用带有胖罐子的Java或Scala将作业提交给纱线？这有可能吗？Hadoop库呢？
浏览 0提问于2018-12-26得票数 0
1回答
在我们的一个管道中，我们使用spark(java)进行聚合，它是使用oozie编排的。此管道使用以下行将聚合数据写入ORC文件。modifiedFrame = hc.createDataFrame(aggregateddatainrdd, schema);
modifiedFrame.write().format("org.apache.spark.sql.hive.orc").partitionBy("partition_column_name").save(o
浏览 0提问于2017-03-09得票数 0
回答已采纳
我正试图在Oozie中为以下命令创建一个火花行动：这给出了Oozie中的N个错误。我使用了来自<em
浏览 2提问于2016-07-14得票数 0
回答已采纳
1回答
我有火花作业将数据保存到hdfs，然后将相同的数据保存到Hive表中。当我在木星上运行时，它成功地运行了。但是，当我在oozie中运行它时，当它达到写入数据到蜂箱的步骤时，它就会引发后续异常。下面是我的代码，后面跟着异常，然后是工作流.xml：
/
浏览 10提问于2020-04-14得票数 1
4回答
我在Spark Yarn上运行一个作业，并试图向涌入的数据库发送消息，但我在一个okio冲突中崩溃： "org.apache.spark" %% "spark-hive" % sparkVersion,
"org.apache.<em
浏览 2提问于2018-03-26得票数 2
我是齐柏林飞艇的新手，并试图在我的系统上安装齐柏林飞艇。到目前为止，我已经完成了以下步骤：
当我试图运行齐柏林飞艇中提到的load data into table程序时，->基本特性(火花)是抛出的错误。at org.apache.zeppelin.spark</em
浏览 4提问于2018-01-11得票数 1
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
