这是我们的场景，以及为什么我们需要尽可能简洁：
我们有60个协调员在运行，通常每小时启动一次工作流，其中一些有子工作流(一些是并行的多个)。这相当于在任何给定的时间运行大约40个工作流。但是，当集群负载过重或某些底层服务运行缓慢(例如impala或hbase)时，工作流将比平时运行更长时间并进行备份，因此我们可以最终运行80+工作流(包括子<em
浏览 4提问于2018-02-13得票数 0
假设我们有一个Oozie工作流，它有一个复制操作节点，然后是一个Shell操作节点。我是否可以启动这样的OOzie工作流的多个实例并并行运行它们？并发数量可能会达到数千甚至数百万级，这会怎么样呢？这是可能的吗，或者甚至Oozie支持这么高级别的并发性？
如果不是，那么我们将不得不考虑节流，并对并发Oozie工作流实例的数
浏览 2提问于2014-02-07得票数 5
回答已采纳
1回答
有人知道可以并行执行的oozie工作流的最大限制是多少吗？
我并行运行了35个工作流(或者这就是oozie UI提到的，它们都是并行启动的)。所有子工作流都执行从本地到HDFS的文件摄取&从此以后对文件的元数据执行一些验证检查。就这么简单。然而，我看到一些子工作流在执行过程中失败了；它们失败的<
浏览 3提问于2017-10-25得票数 0
我想要运行一个程序，将给定的输入文件转换为另一种格式。当文件上传到输入表时，oozie调度程序应该启动作业。对于单个文件，它工作正常；如果输入表同时有多个条目，那么相同数量的作业应该在参数中与不同的inputPath并行启动。Oozie工作流以"InputPath“和"OutputPath”作为参数。
浏览 0提问于2018-10-30得票数 0
回答已采纳
3回答
地图-通过Oozie减少
、、、
如果我使用Oozie来运行MapReduce作业，那么启动多少映射程序有具体的数字吗？是：
一个用于Oozie，一个映射器用于每64 one块(默认块大小)
浏览 5提问于2016-08-02得票数 2
回答已采纳
1回答
我用Sqoop、Hive和Pig操作创建了一个简单的Oozie工作流程。对于其中的每一个动作，Oozie都会启动一个MR发射器，然后启动这个操作(Sqoop/Hive/Pig)。因此，在工作流程中，总共有6名乔布斯负责3项行动。
为什么Oozie启动一个MR发射器来启动操作，而不是直接启动操作？
浏览 5提问于2013-10-21得票数 7
1回答
抱歉，找不到需要的配置点。我计划spark应用程序，有时他们可能不会在一个小时后成功，在这种情况下，我想自动终止这个任务(因为我确定它永远不会成功，另一个计划可能会开始)。我发现了一个超时配置，但据我所知，它用于延迟工作流的启动。
那么有没有一种活着的‘暂停’呢？
浏览 1提问于2018-06-29得票数 0
我在集群模式下运行。apacheds-kerberos-codec-2.0.0-M15.jar存在于oozie/share/lib/lib*/share和oozie/share/lib/lib*/oozie中的多个位置。这是环境问题吗？ava.lang.IllegalArgumentException: Attempt to add (hdfs://ip-172-20-10-53.ec2.
浏览 3提问于2017-02-08得票数 2
回答已采纳
我正在尝试使用协调器运行工作流，但是当我尝试同时设置工作流和协调器XML文件路径时，我得到了一个错误。这是我的jobs.properties文件的样子：jobTracker=10.74.6.155:9010oozie.wf.application.path=${nameN
浏览 0提问于2012-08-16得票数 1
回答已采纳
我在使用oozie的MR动作。并希望使用oozie提供的暂停/恢复功能。但是，当我们在Oozie上调用“暂停”(而不是杀死hadoop作业)时，它只更新oozie状态，而hadoop作业则继续运行到完成。当oozie工作流被挂起时，我希望立即终止hadoop作业。我猜那是不可能的对吧？
所以，我想我可以杀死oozie工作流并重新运行它。
浏览 2提问于2014-12-27得票数 1
1回答
有办法限制AWS数据管道上的并发执行吗？我们需要把同时处决限制在1。来自oozie的医生：
并发性:可以同时运行的该作业的最大操作数。该值允许实现和提交协调器应用程序的多个实例，并允许操作赶上延迟处理。默认值为1。
浏览 1提问于2018-02-09得票数 0
回答已采纳
4回答
昨天我启动了一个oozie工作流程。它启动了两个工作，这两个工作停滞了一整天。我今天早上杀了他们，做了一个我现在想要测试的更改。在杀死这两个作业之后，就像是工作流变得松散，现在正在进行中。我想终止工作流，这样它就不会一直启动新的作业来替换我删除的作业。我如何在oozie命令行中做到这一点？
浏览 0提问于2012-08-24得票数 6
回答已采纳
我知道关于如何制作oozie有很多问题，什么是时间驱动的工作流到数据驱动，一个想法刚刚出现在我的脑海中：<start to="action1oozie是否限制了递归操作调用？
浏览 0提问于2016-06-24得票数 1
我已经使用Oozie创建了一个工作流，它由多个操作节点组成，并且能够成功地通过协调器运行这些节点。
我想通过包装器shell脚本调用Oozie工作流。包装器脚本应该调用Oozie命令，等待oozie作业完成(成功或错误)，并返回Oozie成功状态代码(0)或失败的oozie操作节点的错误代码(如果oozie工作流的任何节点失败)。从我到目前为止所
浏览 1提问于2015-06-20得票数 5
2回答
我正在尝试通过Oozie工作流运行ssh操作， <ssh xmlns="uri:oozie:ssh-action:0.1"><command>echo</command>
<ok to="endjob"/>
<error to="endjob&qu
浏览 0提问于2015-06-23得票数 0
3回答
我是大数据的新手，我想知道是否有一种方法可以在运行oozie工作流之前检测到错误？有点像是编译错误。请帮帮忙。谢谢，安妮
浏览 19提问于2019-03-16得票数 1
回答已采纳
我试图在cloudera集群中使用oozie ssh action运行工作流。我需要的是只从特定节点运行我的脚本。为此，我找到了下一个解决方案-- oozie ssh action。在配置这个工作流时，我遇到了一个问题，在信任中，oozie只使用“用户”和“主机名”，而我还需要为ssh连接使用私有ssh键。
是否可以使用私钥执行oozie ssh action？或者可能还有其他一些变体，如何从特定节
浏览 6提问于2015-08-27得票数 2
回答已采纳
1回答
因此，我一直在尝试使用Oozie java api，一切都很好，直到我遇到以下问题。同时尝试运行以下java代码：我已经能够在google上找到一些相关的问题，尽管我注意到的问题只与命令行oozie客户端有关。
浏览 2提问于2015-03-16得票数 1
我有一个自定义的SharePoint Designer审批工作流，它在20-30分钟后重新启动(仅针对文档库中的几个实例)，因此工作流失败，因为我正在检查几个条件。我们已经测试了这个工作流，它在大多数实例中都运行得很好。有人告诉我，这可能是由于服务器负载和工作流历史记录项目超过2000个项目造成的。因此，我确保工作流历史记录项目少于500个。但它仍然会重新启动。库中的工作流实例数量
浏览 0提问于2011-12-13得票数 0
2回答
在Oozie中单独处理行
、、、
我有一个包含2列的简单输入文件，如下所示pkg2 date2...我想要创建一个oozie工作流，它将分别处理每一行。对于每一行，我想一个接一个地运行多个动作(蜂箱，猪.)然后再处理另一行。但这比我想象的要困难。我认为，我必须以某种方式创建一个循环，并遍历它。
你能给我建筑方面的建议吗?我怎样才能做到这一点？
浏览 7提问于2015-07-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
