运行oozie工作流的单个应用程序主程序
运行oozie工作流的单个应用程序主程序
提问于 2017-02-11 16:42:13
(根据Why does the oozie luncher consume 2 yarn containers?)
我有1900年核心和11 RAM内存的集群。我还有我的Oozie WF的下一个工作流结构：
- 大约300-400子工作流具有相同的结构，将并行运行(通过分叉控制节点)。
- 在这些子流中，一个接一个地运行几个任务(java操作、火花任务、shell操作)。
- 一些子流可以在3-5分钟内执行，有些- 2-3小时(长期的火花任务)
问题是-是否可以在单个容器(应用程序主)中运行这些子工作流？默认情况下，对于每个子工作流，oozie/纱线使用两个核心:一个用于AM，另一个用于地图减少任务(控制器)。这是瓶颈？？我的集群的所有核心的1/3只用于控制，而不是用于计算。
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-02-14 09:00:53
我想您可以使用oozie的uber模式来保存启动oozie操作作业的容器。AM将启动操作，而不是从单独的容器中执行操作。
将以下属性添加到oozie-site.xml中。
<property>
<name>oozie.action.launcher.mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42178437
复制相关文章
相似问题
腾讯云开发者
