oozie工作流中的Pyspark Phoenix集成失败
Oozie是一个用于协调和管理Hadoop工作流的开源工具。它允许用户定义和执行复杂的工作流，其中包括多个任务和依赖关系。Pyspark是Python编程语言的一个Spark库，用于在Spark集群上进行大规模数据处理和分析。Phoenix是一个开源的分布式SQL查询引擎，用于在Hadoop上进行快速的交互式查询。
在Oozie工作流中集成Pyspark和Phoenix可能会遇到一些问题，导致集成失败。以下是一些可能导致集成失败的常见原因和解决方法：
- 版本兼容性问题：确保使用的Oozie版本与Pyspark和Phoenix的版本兼容。查看Oozie、Pyspark和Phoenix的官方文档以获取版本兼容性信息。
- 配置错误：检查Oozie、Pyspark和Phoenix的配置文件，确保正确配置了相关参数。特别注意检查与集成相关的配置项，如Pyspark和Phoenix的路径、连接信息等。
- 依赖缺失：确保在Oozie工作流中正确引入了Pyspark和Phoenix的依赖。这可能涉及到在工作流中添加必要的JAR文件或Python脚本。
- 环境问题：确保Oozie工作流运行的环境中已经正确安装和配置了Pyspark和Phoenix。这包括正确设置环境变量、安装必要的库和依赖等。
- 日志和错误信息：查看Oozie工作流的日志和错误信息，以了解集成失败的具体原因。根据错误信息进行排查和调试。
对于Pyspark和Phoenix集成失败的具体情况，建议参考腾讯云的相关产品和文档，以获取更详细的解决方案和支持。腾讯云提供了一系列与大数据和云计算相关的产品，如腾讯云数据工场、腾讯云数据仓库等，可以帮助用户进行数据处理和分析的工作。您可以访问腾讯云官方网站（https://cloud.tencent.com/）了解更多信息。
相关·内容
我通过以下代码使用pyspark连接和摄取数据到phoenix表 dataframe.write.format("org.apache.phoenix.spark").mode("overwrite").option("table"，"tablename").option("zkUrl"，"localhost:2181").save() 当我在spark submit中运行它时，它通过下面的命令运行得很好， spark-submit --master local --deploy-mode cli
浏览 37提问于2019-02-11得票数 0
1回答
调度电火花记事本
、、、、
我有一个ipython笔记本，其中包含集群上的一些PySpark代码。目前，我们正在使用oozie通过色调在Hadoop上运行这些笔记本。这种设置感觉不太理想，我们想知道是否有其他的选择。
我们首先将.ipynb文件转换为.py文件并将其移动到hdfs。与此文件一起，我们还创建了一个调用python文件的.sh文件。内容类似于：
#!/bin/sh
set -e
[ -r /usr/local/virtualenv/pyspark/bin/activate ] &&
source /usr/local/virtualenv/pyspark/bin/activate
浏览 4提问于2016-06-17得票数 2
回答已采纳
如果在Oozie中有任何作业/工作流失败，我希望收到电子邮件通知。我正在使用Hue来监视工作流。
我不想在每个工作流中添加电子邮件操作，因为我已经运行了大约60个工作流。
我也知道子工作流的方法，即使有了这种方法，我也必须编辑我所有的60个工作流，并重新启动协同协调器，以反映更改。
在Oozie或Hue中，是否可以在不修改工作流的情况下获得任何作业失败的通知？我们能在Oozie/Hue级别配置一些东西来获取电子邮件通知吗？
浏览 2提问于2019-10-30得票数 0
回答已采纳
我在Oozie中遇到过几个SparkAction作业的例子，其中大多数都是用Java语言编写的。我稍微编辑了一下，然后在Cloudera CDH Quickstart 5.4.0 ( Spark版本为1.4.0)中运行了这个示例。
workflow.xml
<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkFileCopy'>
<start to='spark-node' />
<action name='spark-node&#
浏览 2提问于2015-07-16得票数 1
1回答
当我以jar的形式提交python脚本以激发oozie中的操作时，我会看到以下错误：
Traceback (most recent call last):
File "/home/hadoop/spark.py", line 5, in <module>
from pyspark import SparkContext, SparkConf
ImportError: No module named pyspark
Intercepting System.exit(1)
虽然我可以看到我的本地FS中存在吡火花库：
$ ls /usr/lib/spark/p
浏览 0提问于2017-05-26得票数 0
回答已采纳
1回答
我在使用色调通过oozie运行pyspark脚本时遇到了问题。我可以通过notebook或spark-submit运行脚本中包含的相同代码，而不会出错，这会让我怀疑我的oozie工作流中的某些内容配置错误。为我的工作流xml生成的spark action部分是：
<action name="spark-51d9">
<spark xmlns="uri:oozie:spark-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
浏览 0提问于2017-12-01得票数 0
我的Oozie工作流有一个Java操作。例如，如果该操作的Oozie启动器任务由于"Container preempted by scheduler“而终止，则将尝试另一个Oozie启动器任务。所需的行为是:如果Oozie启动器任务被终止或失败，则使该操作失败。我如何在Oozie中配置它？
浏览 16提问于2015-07-13得票数 0
我有一个运行shell脚本的简单工作流(见下文)。shell脚本运行pyspark脚本，该脚本将文件从本地移动到hdfs文件夹。
当我运行shell脚本本身时，它工作得很好，日志通过shell脚本中的> spark.txt 2>&1重定向到一个文件夹。
但是，当我使用以下工作流提交oozie作业时，shell的输出似乎被抑制了。我尝试重定向所有可能的oozie logs (-verbose -log) > oozie.txt 2>&1，但是没有帮助。
工作流已成功完成(状态SUCCESSEDED，没有错误日志)，但我看到，文件夹没有复制到hdfs，但是当
浏览 2提问于2017-07-26得票数 1
回答已采纳
如何在色调(CDH4.6)中设置重试失败的oozie工作流操作，我在工作流编辑器中没有看到这样做的任何选项
oozie日志
2014-05-15 14:30:01,784 INFO org.apache.oozie.command.wf.ActionStartXCommand: USERtest GROUP- TOKEN[] APPTest oozi 0000189-140514123627882-oozie-oozi-W ACTION0000189-140514123627882-oozie-oozi-W@:start: Start行动0000189-140514123627882-oozi
浏览 1提问于2014-05-15得票数 0
2回答
这是我第一次尝试在Oozie中运行一个包含Pyspark脚本的Spark。请注意，我在我的本地机器(有12G RAM的vm)中使用cdh5.13来构建工作流。
workflow.xml如下所示：
<workflow-app name="sparkMLpy" xmlns="uri:oozie:workflow:0.5">
<start to="spark-c06a"/>
<kill name="Kill">
<message>Action failed
浏览 0提问于2019-01-01得票数 0
回答已采纳
CDH 5.5.2 (色调--工作流--编辑器)
我们使用工作流编辑器(色调--工作流--编辑器)创建了oozie工作流。当工作流失败/终止电子邮件通知发送到开发人员team.currently时，我们在电子邮件正文中添加了简单的文本。这对团队没有太大帮助，因为通知邮件中没有日志信息，请让我知道如何在oozie(色调-工作流-编辑器)中实现这一点，也可以添加失败节点的链接(例如：- /httyps://mymachine:8080/jobbrowser/jobs/job_1456590566111_5905/single_logs)
浏览 1提问于2016-03-02得票数 1
我们在Azure计算节点上安装了自定义的Apache Hadoop，并使用Apache Oozie来安排工作流程。 所有工作流和协调器xml文件都部署到Microsoft Azure Data Lake外部存储中。 目前有一个pyspark action，我们将它部署到Azure Data Lake上的不同路径中。 在工作流操作中，我尝试通过文件标记引用它，但没有成功： <action name='start-job'>
<spark xmlns="uri:oozie:spark-action:0.2">
浏览 19提问于2019-12-25得票数 0
回答已采纳
1回答
我在oozie中有一个工作流。在此工作流中，我希望传递一个表名作为参数。表名存在于文件tables.txt中，我希望将表名从tables.txt传递给工作流。
<workflow-app name="Shell_test" xmlns="uri:oozie:workflow:0.5">
<start to="shell-8f63"/>
<kill name="Kill">
<message>Action failed, error message[${wf:errorMess
浏览 2提问于2017-04-25得票数 0
回答已采纳
1回答
我在oozie中有一系列工作流，这些工作流通过不填充目标表就会周期性地失败。失败的原因之一是，诸如非ascii字符之类的更改输入，或者是数据中的双重转义之类的东西。然而，这项工作实际上成功地完成了。如果表格不能填补，我希望这些工作失败。在Oozie中有什么简单的方法可以直接完成这个操作吗?或者使用一个简单的Hive查询，它会在空表上失败吗？
浏览 1提问于2015-01-14得票数 1
回答已采纳
2回答
我尝试使用oozie公开的验证方法，但遇到了下面提到的错误。根据Apache文档：
oozie validate xx_logger_import/workflow.xml -oozie http://localhost:11000/oozie Error: One file must be specified
Cloudera CDH-5.8版本正在使用中。Oozie版本：
oozie admin -oozie http://localhost:11000/oozie -version
Oozie server build version: 4.1.0-cdh5.8.0
浏览 0提问于2016-10-21得票数 0
1回答
我一直在尝试在oozie中的操作失败时触发操作。
我可以使用error to node来完成此操作，如下所示
<ok to="end"/>
<error to="kill"/>
如果我的需求是在oozie中当前操作失败时进行回滚，那么这将非常好地工作。
我正在寻找的是触发一个步骤，以防工作流被终止(如果有人转到工作流并单击色调中的kill按钮)。
我可以看到一个名为kill的节点，当我通过色调使用oozie时，它会在workflow.xml中生成。我尝试将我的自定义操作放在此空间中，但每次保存xml时，工作流会得到如下所示的默认值
<
浏览 0提问于2015-07-21得票数 1
如何自动重新运行工作流中失败的任何操作？
我知道从命令行或彻底色调手动重新运行的方法。
$oozie job -rerun ...
在工作流中是否有任何参数可以在操作失败时自动重试？
浏览 4提问于2016-07-11得票数 4
回答已采纳
1回答
我创建了一个pySpark作业，它的工作非常好，通过火花提交。现在，当我尝试通过Oozie时，它的失败了。我怀疑我输入的字段是否有问题。在Oozie中，星火行动需要这些字段。
Spark Master : local
Mode : client
Main class : DO I need to enter anything here as its Python + Spark code (Pyspark)
Jars/py files : My py module
Log Stdout和下面一样
=========================================
浏览 0提问于2017-09-19得票数 1
2回答
我试着用火花程序作为一步执行Oozie工作流。我使用了jar，该jar成功地执行了星火提交或火花外壳(相同的代码)：
spark-submit --packages com.databricks:spark-csv_2.10:1.5.0 --master yarn-client --class "SimpleApp" /tmp/simple-project_2.10-1.1.jar
应用程序不应该要求大量的资源-加载单个csv (<10 to )来使用spark。
火花版本: 1.6.0
Oozie版本: 4.1.0
工作流由Hue，Oozie工作流编
浏览 1提问于2017-03-14得票数 0
回答已采纳
1回答
有人知道可以并行执行的oozie工作流的最大限制是多少吗？
我并行运行了35个工作流(或者这就是oozie UI提到的，它们都是并行启动的)。所有子工作流都执行从本地到HDFS的文件摄取&从此以后对文件的元数据执行一些验证检查。就这么简单。
然而，我看到一些子工作流在执行过程中失败了；它们失败的步骤试图将文件放到HDFS位置，即进程无法执行hdfs dfs -put命令。但是，当我重新运行这些子工作流时，它们会成功运行。
不确定是什么原因导致它们在hdfs dfs -put上执行并失败。
关于可能发生的事情，有什么线索/建议吗？
浏览 3提问于2017-10-25得票数 0
1回答
我正在使用oozie的REST来调用shell脚本操作。任何包含访问或使用HDFS的脚本都会失败。
我用这个简单的脚本进行测试
#!/bin/bash -e
hadoop fs -touchz aaa
当我运行从命令行调用此脚本的Oozie工作流时--作为“根”--它工作得很好。当我从REST调用它时，错误代码JA018和错误消息都会失败：
Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]
我确信我的oozie资产是正确设置的(即job.properties和workflow.xml)，因为如果我交换掉&#
浏览 3提问于2013-10-11得票数 0
我提交了一个工作流并通过oozie命令运行作业：
oozie job -oozie http://node1:11000/oozie -config job.properties -submit
oozie job -oozie http://node1:11000/oozie -start [job_id]
效果很好。我想用色调编辑oozie的工作流程，但是找不到。我该怎么做才能使工作流程显示在oozie编辑器中？CDH版本: 5.9
浏览 2提问于2017-05-22得票数 0
回答已采纳
我正在使用HDP 2.4和oozie 2.4版本。在提交oozie作业后，我得到异常“as 017:无法在oozie日志中查找已启动的hadoop”并获得失败状态。但是我成功地创建了输出目录，即我的工作流程运行良好。那我为什么会有这个例外？如何解决此问题?请详细建议任何配置设置或权限设置以解决此问题。谢谢
浏览 1提问于2016-08-23得票数 0
我用Java编写了访问Hive表的SparkSQL，并打包了一个可以使用spark-submit运行的jar文件。
现在，我想把这个jar作为一个Oozie工作流来运行(如果我让工作流工作，那么它就是一个协调器)。当我尝试这样做的时候，任务失败了，我进入了Oozie作业日志。
java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
我所做的是在$HIVE_HOME/lib中查找包含该类的jar，在Oozie工作流根路径的lib路径中复制jar，并将其添加到火花操作中的workflow.xml中：
<spar
浏览 1提问于2015-07-21得票数 1
回答已采纳
2回答
有没有办法在Oozie中完成worflow之后进行外部调用？阅读一些文档似乎是可能的。(Oozie可以在动作开始/结束/失败事件和工作流结束/失败事件上发出HTTP回调通知。)
但是不确定该怎么做，也不知道它会不会是回调时的外部api调用。
谢谢
浏览 2提问于2013-02-02得票数 1
1回答
我从oozie配置单元操作工作流中得到一个错误：
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.HiveMain],
main() threw exception, org/apache/hadoop/hive/serde2/SerDe
java.lang.NoClassDefFoundError: org/apache/hadoop/hive/serde2/SerDe
我使用CDH4.2、HUE 2.2和JSON-SerDe ()作为我的hive表SerDe。
配置单元查询脚本没
浏览 0提问于2013-04-05得票数 1
2回答
如果我的oozie工作流中有任何操作失败，我正在尝试发送电子邮件警告。如何获得哪个操作失败，或者是否有任何方法可以在工作流DAG中查看最后一个成功操作名称？
浏览 6提问于2015-02-05得票数 0
回答已采纳
我的hive sql查询在putty和色调编辑器中都运行得很好。但是当我尝试在Oozie中创建一个工作流时，它失败了，错误如下：
Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2]
你能帮我解决这个问题吗？
浏览 0提问于2018-03-27得票数 1
我得到了一个oozie工作流，运行在一个由4台机器组成的CDH4集群上(一个是万能的，三个是“哑巴”工作者)。hive metastore运行在使用mysql的主服务器上(存在驱动程序)，oozie服务器也运行在使用mysql的主服务器上。使用web界面，我可以按预期导入和查询配置单元，但当我在oozie工作流中执行相同的查询时，它将失败。即使添加了"IF EXISTS“也会导致下面的错误。我尝试将连接信息作为属性添加到配置单元作业，但没有成功。
有谁能给我个提示吗？我错过什么了吗？还需要进一步的信息吗？
这是作业日志的输出：
Script [drop.sql] content:
浏览 5提问于2013-04-02得票数 6
回答已采纳
使用这个，我为hive脚本创建了工作流，但是当我在下面的命令中运行时会出错：
oozie job -oozie http://xxx.xx.xx.xx:11000/oozie -config /home/ec2-user/ankit/oozie_job1/job.properties -submit
我得到的错误是：
错误: E0708: E0708 :无效转换，节点Oozie_test转换测试程序
我的工作流代码如下：
<workflow-app name="Tester" xmlns="uri:oozie:workflow:0.1">
浏览 5提问于2016-06-09得票数 4
回答已采纳
我正在尝试在oozie中设置工作流运行的超时，从工作流运行开始一段时间后，它就会失败。
例如，可以在coordinator.xml中使用sla:should-end进行操作/工作流，也可以在workflow.xml中为整个工作流指定sla:should-end。
但问题是SLA只发送电子邮件。我想要的只是在一段时间后失败(从运行开始)。
有可能吗？任何示例代码都会有帮助。
浏览 4提问于2016-06-05得票数 2
1回答
Oozie shell工作流
、、、、
我正在尝试用oozie编写一个简单的外壳程序操作，它会将文件从远程复制到hdfs.But，我遇到了错误。
这是我的作品flow.xml
<workflow-app name="WorkFlowCopyLocalTohdfs" xmlns="uri:oozie:workflow:0.1">
<start to="sshAction"/>
<action name="sshAction">
<shell xmlns="uri:oozie:shell-action:0.1"
浏览 0提问于2016-05-04得票数 1
我正在寻找一个命令，使用通配符获取给定名称的所有workflowIds的列表。
当我从workflow.xml知道完整的工作流名称时，我将使用下面的命令获取详细信息
oozie jobs -oozie http://oozie.org:11000/oozie
-filter name="workflow name"
在这里，当我只知道使用通配符的工作流的部分名称时，应该如何使用filter命令。
如何使用name值中的通配符？寻找类似的东西
oozie jobs -oozie http://oozie.org:11000/oozie
-filter name="
浏览 5提问于2017-03-02得票数 2
2回答
我已经创建了一个使用脚本操作的Oozie工作流。它调用的脚本有两个强制参数和几个可选参数。在Oozie工作流中处理可选参数的正确方式是什么？
oozie job -config job.properties -run -DMandatory1 a -DMandatory2 b -DOptional1 c
我不能列出工作流XML中的参数(Optional2、Optional3等)，因为Oozie会错误地声明参数不存在。在调用允许每个选项的Oozie脚本之前，我是否需要创建多个工作流并创建一些逻辑？
浏览 0提问于2015-11-17得票数 2
2回答
我有一个光秃秃的Oozie协调员，负责这个规范：
<coordinator-app name="my-coord" frequency="${coord:days(1)}"
start="${startDate}" end="${endDate}" timezone="UTC"
xmlns="uri:oozie:coordinator:0.4">
<controls>
<time
浏览 0提问于2019-01-16得票数 0
回答已采纳
我们已经提交了下面的Oozie工作流作业。它在windows集群中执行，但在Linux中失败。
<workflow-app xmlns='uri:oozie:workflow:0.3' name='shell-wf'>
<start to='shell1' />
<action name='shell1'>
<shell xmlns="uri:oozie:shell-action:0.1">
<job-tr
浏览 1提问于2017-08-21得票数 1
1回答
我在Hadoop中有一个使用Sqoop -> Pig+MR -> Hive的复杂工作流。
一旦某些特定的Oracle表使用日志数据更新，即说明以前ETL进程的完成，就应该触发此流。
这个主要工作流程由Oozie组成。我还想在必要时使用Oozie来触发进程，因为Oozie是我的组织中最成熟的工作流调度程序。
我的理想(假设)解决方案：
1-一个oozie作业，每X分钟运行一次，并执行一条Sql语句。根据语句的结果，作业触发(或不触发)，参数为：。
2-执行主要工作流的oozie作业
所以,
这和Oozie有可能吗？
我应该在Oozie中实现这一点吗？
你将如何实现它？
浏览 0提问于2015-03-31得票数 1
1回答
我有一个Workflow Oozie 4.3和一个包含Shell的操作：
<action name="KafkaToADLS" retry-max="10" retry-interval="1">
这将在失败后1分钟重新运行工作流，并将执行10次。
在每次失败之后，有什么可以让工作流无限地重新运行吗？
浏览 1提问于2019-07-10得票数 0
回答已采纳
我有一个PySpark应用程序，我想用Oozie来调度，使用shell操作。我的submit-application.sh脚本只是初始化一个Python (出现在所有工作节点上)，并调用application.py Python应用程序脚本。
application.py脚本是一个PySpark应用程序，它附带了一个本地Python模块，比方说称为foobar，它只是在整个代码中导入和使用。
因此，我有一个类似于以下目录的结构：
.
├── foobar
│ ├── config.py
│ ├── foobar.py
│ └── __init__.py
├── applicatio
浏览 9提问于2022-03-24得票数 0
2回答
Oozie工作流模式错误
、、、
我正在进行一个使用Hue/Oozie创建工作流的项目。我遇到的问题是，现在我已经多次让工作流工作，然后进行编辑，导致抛出错误：
OozieClientException: org.apache.oozie.DagEngineException: E0701: XML模式错误，cvc-complex- with .2.4.a:从元素'action‘开始找到无效内容。{WC“uri:oozie:sla:0.1”，“uri:oozie:sla:0.2”}之一。
或者类似的东西。这导致我不得不完全重新创建工作流，此时它就可以正常工作了。如果我查看workflow.xml文件，那么一些操
浏览 4提问于2017-03-02得票数 1
1回答
目前比较基于DAG的工作流工具，如气流和Luigi，用于调度通用码头集装箱以及火花作业。
Apache能否通过其shell操作运行通用Docker容器？或者，Oozie严格意义上是用于Hadoop工具，如Pig和Hive？
Oozie与Hadoop堆栈的其他部分集成在一起，它支持多种类型的Hadoop作业(例如Java映射-还原、流映射-还原、Pig、Hive、Sqoop和Distcp)以及特定于系统的作业(例如Java程序和shell脚本)。
浏览 2提问于2019-01-28得票数 3
回答已采纳
这个问题是我上一个问题的继续，这个问题看起来已经解决了，但这里是另一个问题。
我在Cloudera QuickstartVM CHD-5.4.0上使用Spark 1.4.0。当我在Oozie中作为SparkAction运行我的PySpark脚本时，我在Oozie作业/容器日志中遇到以下错误：
KeyError: 'SPARK_HOME'
然后我遇到了和，它们实际上是针对Spark1.3.0的，尽管我仍然尝试过。文档似乎说这个问题已经在Spark版本1.3.2和1.4.0中修复了(但我在这里，遇到了同样的问题)。
链接中建议的解决方案是，我需要将spark.yarn.appMas
浏览 1提问于2015-07-17得票数 2
使用Oozie工作流，您必须在工作流的属性中指定集群的JobTracker。当您只有一个JobTracker时，这很容易：
jobTracker=hostname:port
为HA (高可用性) JobTracker配置群集时，我需要能够设置我的属性文件，以便能够访问任一JobTracker主机，而不必在JobTracker故障切换到第2个节点时更新所有属性文件。
当通过http访问一个JobTracker时，如果它没有运行，它将重定向到另一个，但是oozie没有使用http，所以没有重定向，如果属性文件指定了没有运行的作业跟踪器主机，这会导致工作流失败。
如何配置我的属性文件来处理在HA中运
浏览 2提问于2013-06-20得票数 4
我有一个Oozie工作流，其中包含一个shell操作，该操作调用一个Python脚本，该脚本由于以下错误而失败。
Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]
Python (hello.py)很简单。
print("Hello, World!")
这是我的Oozie工作流。
<workflow-app xmlns="uri:oozie:workflow:0.4" name="hello">
&l
浏览 1提问于2014-03-11得票数 1
回答已采纳
说Apache操作是异步的。但是它也提到了检查动作状态的机制。
3.2.1.2动作是异步的
由操作节点触发的所有计算/处理任务都由Oozie异步执行。对于由工作流操作触发的大多数类型的计算/处理任务，工作流作业必须等到计算/处理任务完成后才能转换到工作流中的以下节点。
异常是作为同步操作处理的fs操作。
Oozie可以通过两种不同的方式检测计算/处理任务的完成，即回调和轮询。
当Oozie启动计算/处理任务时，Oozie为该任务提供一个唯一的回调URL，该任务应该调用给定的URL通知其完成。
对于任务因任何原因(即瞬态网络故障)未能调用回调URL或任务类型在完成时无法调用回调URL的情况，O
浏览 5提问于2015-10-23得票数 0
我已经成功地运行了Hue Oozie工作流编辑器(在Cloudera5.5.1 QuickStart VM中)中提供的示例Spark工作流(“通过启动Spark程序复制文件”)。
我现在尝试使用oozie命令行工具手动运行它：
oozie job -oozie http://localhost:11000/oozie -config job.properties -run
工作流XML基本不变--我已将其复制到HDFS，并具有以下job.properties
nameNode=hdfs://localhost:8020
jobTracker=localhost:8032
oozie.wf.ap
浏览 4提问于2016-05-24得票数 2
回答已采纳
我尝试使用oozie在yarn上运行pyspark，在提交工作流后，hadoop作业队列中有两个作业，一个是oozie作业，它的应用程序类型为"map reduce"，另一个作业由前一个作业触发，应用程序类型为"Spark"，当第一个作业正在运行时，第二个作业保持为‘accepted’状态。问题来了，当第一个作业等待第二个作业完成继续运行，第二个作业等待第一个作业完成运行时，我可能被卡在死锁中，我如何才能摆脱这个麻烦，应用程序类型为"mapreduce“的hadoop作业是否与其他不同应用程序类型的作业并行运行？
任何建议都很感谢，谢谢！
浏览 1提问于2017-05-08得票数 2
在一个目录中可以有两个oozie workflow.xml文件吗？
如果是这样，我该如何指示oozie runner跑哪一个呢？
浏览 5提问于2013-11-16得票数 3
我们有一个Hadoop服务，其中有多个应用程序。我们需要通过重新执行相同的工作流来处理每个应用程序的数据。这些都被安排在一天中的同一时间执行。问题是，当这些作业正在运行时，很难知道作业正在为哪个应用程序运行/失败/成功。当然，我可以打开作业配置并知道它，但这确实需要时间，因为有10个应用程序在该服务下运行。
oozie中是否有任何选项可以在执行作业时动态传递工作流的名称(或部分名称)，例如
oozie job -run -config <filename> -name "<NameIWishToGive>"
OR
oozie job -run -conf
浏览 3提问于2013-01-28得票数 5
回答已采纳
当我尝试使用java运行Oozie工作流时，会出现以下错误
IO_ERROR : java.net.ConnectException: Connection timed out: connect
at org.apache.oozie.client.OozieClient.validateWSVersion(OozieClient.java:234)
at org.apache.oozie.client.OozieClient.createURL(OozieClient.java:300)
at org.apache.oozie.client.OozieClient.access$000(Oo
浏览 1提问于2014-11-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
