有奖捉虫:办公协同&微信生态&物联网文档专题 HOT
文档中心 > 弹性 MapReduce > EMR 开发指南 > Hadoop 开发指南 > 自动扩容 Task 节点不分配 ApplicationMaster

功能介绍

在自动扩缩容场景下,缩容规则触发时,即将被销毁的 Task 节点若正在运行着 ApplicationMaster(AM),那么节点在销毁的同时,运行的 AM 也会随之销毁,会导致当前 Job 整体失败。 在自动扩缩容场景下,通过扩容添加的 Task 节点默认不分配 ApplicationMaster,保证缩容Task节点时,运行的 ApplicationMaster不被销毁,Job 可以正常进行。

功能特性

通过对 YARN 的源码改造以及对自动扩容流程增加配置项,实现自动扩容添加的 Task 节点将不会被分配 AM,AM 将会全部分配到非自动扩容的 Task 节点,自动扩容添加的 Task 节点仅承担计算任务;当对 Task 节点进行缩容时,只有正在运行的计算任务的节点会被销毁,但对应 AM 仍然保持存活状态,AM 可以重新在其他节点重试相关的计算任务,当前整个 Job 可以继续进行下去。

适用范围

仅对自动扩容的 Task 节点生效,手动扩容不生效。