试着从oozie那里运行一个spark作业。下面是我正在尝试运行的代码。SparkConf conf = getConf(appName);HiveContext hiveContext= new HiveContext(sc);JOB[0000000-170808082825775-oozie-oozi-W] ACTION[0000000-1708080828257
浏览 2提问于2017-08-08得票数 0
回答已采纳
1回答
在我们的一个管道中，我们使用spark(java)进行聚合，它是使用oozie编排的。此管道使用以下行将聚合数据写入ORC文件。HiveContext hc = new HiveContext(sc);
失败的Oozie启动程序，主类org.apache.
浏览 0提问于2017-03-09得票数 0
回答已采纳
我正在尝试在Yarn集群中安排1000个作业。我想运行超过1000个工作每天在同一时间和纱线来管理资源。对于来自hdfs的1000个不同类别的文件，我尝试从python创建spark提交命令并执行。但是我得到了内存溢出错误，因为火花提交使用驱动程序内存。
如何在星火纱线集群中调度1000个作业？我甚至尝试过oozie作业调度框架和spark，它在HDP上并没有像预期的那样工作。
浏览 10提问于2016-08-28得票数 1
1回答
我不需要在oozie工作流xml中设置作业驱动程序配置，比如Inputformat类等等，而是希望o调用我的ExampleDecision.java。ExampleDecision主要方法将负责作业设置和配置。怎么做？或
它是否等于Hadoop jar SomeJar.ExampleDec
浏览 2提问于2015-08-31得票数 0
1回答
我试图在Oozie (CDH5.7)中安排火花放电作业，但它一直在抛出错误。请在下面找到我的工作流程。<workflow-app name="Spark_on_Oozie" xmlns=&qu
浏览 2提问于2016-07-19得票数 1
我一直在用oozie来安排工作。尝试使用Oozie中可用的星火操作在2.x集群中部署星火作业。在我的job.properties中，我有以下内容 jobTracker=hostname:8050 oozie.use.system.libpath=true`
当我提交o
浏览 1提问于2017-06-06得票数 3
这些都被安排在一天中的同一时间执行。问题是，当这些作业正在运行时，很难知道作业正在为哪个应用程序运行/失败/成功。当然，我可以打开作业配置并知道它，但这确实需要时间，因为有10个应用程序在该服务下运行。oozie中是否有任何选项可以在执行作业时动态传递工作流的名称(或部分名称)，例如
oozie job -run -config <fil
浏览 3提问于2013-01-28得票数 5
回答已采纳
2回答
我正在处理一个sqoop作业，它将被安排在Oozie中，将每天的数据加载到蜂巢中。
我希望将增量加载作为一个参数，作为参数基于日期执行到hive中，该参数将传递给sqoop作业。在研究了很多之后，我无法找到将参数传递给Sqoop作业的方法
浏览 4提问于2015-03-05得票数 6
在EMR5.14集群上通过oozie工作流运行时，我面临以下错误： spark = SparkSession.builder.appName("PysparkTes
浏览 10提问于2020-04-15得票数 0
我使用的是spark 2.2和oozie。我已经通过shell-script在oozie中安排了spark-action，也就是说，我在oozie中调用包含spark-submit命令的shell脚本。但是当我运行作业时，它给出了下面的INFO语句:将hive.metastore.warehouse.dir ('null')设置为spark.sql.warehouse.dir ('&#x
浏览 0提问于2019-04-26得票数 0
所以我试着用sqoop将数据从impala导出到mysql中，这是由oozie job.But安排的，当第一个sqoop动作开始时，它停留在map100%，而reduce 0%.and则填充了所有其他动作奇怪的是，在我终止这个oozie作业之前，mysql中没有数据，但在我终止它之后，数据出现在mysql表中(只有与第一个阻塞的sqoop操作相关的表)。下面是我的导出脚本：，我的oozie作业操作显
浏览 1提问于2017-03-21得票数 1
1回答
我用Sqoop、Hive和Pig操作创建了一个简单的Oozie工作流程。对于其中的每一个动作，Oozie都会启动一个MR发射器，然后启动这个操作(Sqoop/Hive/Pig)。因此，在工作流程中，总共有6名乔布斯负责3项行动。
为什么Oozie启动一个MR发射器来启动操作，而不是直接启动操作？
浏览 5提问于2013-10-21得票数 7
我正在运行一个使用oozie的工作流。它有一个运行任意(非map reduce)代码的java操作。此java代码用于在本地文件系统上创建文件和文件夹。我希望确保java操作在hadoop集群的单个节点上运行(我的是7个节点)。对我来说，这个java操作总是在同一台机器上运行，最好只在hadoop主节点上运行。有可能吗？即使周围有工作，也请分享。
浏览 2提问于2013-01-10得票数 2
回答已采纳
1回答
例如：要在MySQL条形表中加载数据，为什么有一个MapReduce进程？How can I enable/disable key in MySQL using Sqoop/Oozie?
4. How to run Oozie jobs in
浏览 3提问于2014-04-07得票数 1
回答已采纳
1回答
我在通过Oozie运行Spark作业时遇到了一个问题，因为有依赖作业，比如第一个作业将触发第二个作业，第二个作业将触发第三个作业，在某些情况下，我会得到超时错误，因为SparkContext没有创建，最终数据无法加载到配置单元我通过oozie-Ssh Action在Oozie中调度了5个相互依赖的作业<
浏览 4提问于2016-08-23得票数 0
2回答
如何在oozie中执行并行作业
、、、、
我在HDFS中有一个shell脚本。我用以下工作流程在oozie中安排了这个脚本。工作流程：<start to="shell-8f63"/>
<killerrorMessage(wf:lastErrorNode())}]</message>
浏览 4提问于2017-04-18得票数 5
1回答
你好，我已经为一个简单的用例安排了一个oozie协调员的工作。它所做的就是每15分钟在hdfs位置创建一个文件夹。在最初的几次运行中，作业被提交了多次。附加图像显示文件夹创建时间。
oozie工作时间表: frequency="0-59/15 ** *“
浏览 0提问于2018-02-07得票数 1
回答已采纳
2回答
我在用oozie来运行我的地图-减少任务。我想要根据日期创建输出文件。但它以日期作为字符串并以打印结束，而不是将日期作为值：下面是oozie属性文件：jobTracker=localhost:8021oozie
浏览 0提问于2012-02-24得票数 1
回答已采纳
我正在尝试从CDH 5.5上的Hue browser发送电子邮件附件，因为无法识别附件标签而收到错误。我知道OOZIE-2160已经在CDH5.5上修复了这个问题。重新运行工作流0000006-160921134749647-oozie-oozi-W.E0701时出错: XML架构错误，cvc-complex-type.2.4.d:发现以元素'attachment我还尝试在Hue之外运行作业，仍然得到相同的错误: Oozie
浏览 25提问于2016-09-22得票数 0
1回答
我正在创建一个oozie工作流，它必须在作业完成后触发一个自动邮件，并包含作业和作业状态的细节。简而言之，我需要输出这个命令--> oozie作业-oozie {SERVER_DETAILS} -info ${job_id}在oozie邮件中通过邮件发送。当我尝试这个时，<email
浏览 4提问于2016-07-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
