首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >oozie使用纱容器吗?

oozie使用纱容器吗?
EN

Stack Overflow用户
提问于 2016-08-11 07:51:30
回答 2查看 1.7K关注 0票数 0

我们目前正在集群中运行大量Oozie作业。

其中许多作业使用模板,并具有子工作流。

这些作业并不总是包含大任务和重作业,它们大多包含一个小shell脚本。

Hue作业浏览器显示了大量的Oozie步骤。

我们现在有时感觉到集群被这些作业负载过重了。这让我不禁纳闷,是不是每一份工作都有一个纱线容器呢?

如果是这样的话,这将意味着对于一个2分钟的工作,我们有效地使用了比所需资源多2-10倍的资源。

EN

回答 2

Stack Overflow用户

发布于 2016-08-11 10:06:52

你自己看看..。

  • 在Hue仪表板中,单击已执行的任意工作流,选择"Actions“选项卡,查看”=> ID“列=>a引用纱线作业
  • ...and当“外部ID”指向子工作流时,如果单击,您将得到它自己的纱线作业
  • 您也可以将命令行与oozie job -info <wkf/sub-wkf exec id>一起使用。

例如,您可以在that post中获得更多细节。

Shell或Java操作的一个常见问题是,"launcher“纱线作业使用由Hadoop管理员定义的默认作业设置--例如,1GB内存用于AppMaster,1.5GB用于"launcher”。

但是,通常您的shell只需要几MB内存(除了Oozie用来引导原始纱线容器中的Action的内存之外),它的AppMaster只需要最低限度的内存来控制执行--例如,每个执行只需要512 MB。

因此,您可以通过设置一些无文档属性()来减少Oozie操作的占用--在实践中,标准Hadoop道具以oozie.launcher.为前缀。

例如,请参见this post然后是that post

PS:oozie.launcher.mapreduce.map.java.opts与Java动作(或猪动作、Sqoop动作等)相关。应该与全局RAM配额保持一致;但是它与Shell操作无关,除非您设置了一个非常愚蠢的值,在这种情况下,它可能会影响Oozie引导过程

票数 1
EN

Stack Overflow用户

发布于 2016-08-11 08:45:55

在您的例子中,,如果您调用MR直通,那么所有作业都将得到容器。对于每个容器,纱线将提供不必要的内存或资源,这是不正确的。

纱线提供准确或很少更多的资源,但是如果约伯需要更多的资源,纱线就会增加。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/38890414

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档