功能介绍
当集群负载随业务发生变化时,可在弹性 MapReduce 中通过配置伸缩规则,自动补充或缩减 Task 节点计算资源,在快速响应计算需求变化的同时节约成本。自动伸缩支持按负载伸缩和时间伸缩两种伸缩策略,负载伸缩仅适用于含 YARN 或 Trino 组件(EMR-V2.7.0和 EMR-V3.40及以上版本)的集群类型。
注意事项
1. 自动伸缩默认关闭,伸缩分类支持自定义伸缩和伸缩组伸缩、托管伸缩,且三选一;当前托管伸缩为白名单开放,若需体验请 提交工单 开通。
2. 自定义伸缩支持负载伸缩和时间伸缩策略,根据业务需要选择对应策略设置伸缩规则,也支持时间伸缩和负载伸缩混合弹性规则设置,规则触发遵循“先触发先执行,同时触发根据规则优先顺序执行。”的规则。
3. 伸缩组伸缩支持多个伸缩组之间同时执行伸缩策略互不影响,单个伸缩组内规则触发遵循“先触发先执行,同时触发根据规则优先顺序执行。”的规则,伸缩组可基于 Node Label 进行伸缩。
说明:
容量调度下 node label 生效,请尽量 node label 与队列一一对应使用。
4. 自定义伸缩和伸缩组伸缩支持设置并行伸缩,开启该功能后,单个伸缩组内伸缩规则将并行触发,规则优先级和冷却时间将失效。当前并行伸缩为白名单开放,若需体验请 提交工单 开通。
5. 托管伸缩资源类型仅支持 HOST;自定义伸缩资源类型支持 HOST 和 POD,且仅二选一不能同时使用,如果切换资源类型,原资源类型设置的资源规格和实例部署方式会保留,但会处于失效状态,不会被触发执行;当前已扩容的节点也会保留,除非缩容规则触发,否则不会被缩容;POD 资源当前为白名单开放,若需体验请 提交工单 开通。
6. 实例部署策略支持按量计费和竞价实例优先,POD 资源仅支持按量计费部署。
7. 资源类型为 HOST 时,自定义伸缩和伸缩组伸缩支持跨可用区扩容,弹性扩容可指定多个可用区,已保证扩容资源充足。
应用场景
1. 业务计算负载曲线有明显的波峰波谷情况。
2. 业务规律性变化,可以规划固定时间段为集群补充算力,使之满足业务需求的同时,还可以节省成本。
3. 为确保重要作业任务按时完成,需要在某一时间段内按照某些负载指标扩充节点。
4. 存在交叉任务作业执行,可根据资源池划分进行资源扩充,使之满足多个业务需求。
5. 自动伸缩提供了丰富多样的弹性组合跟您选择,更多场景待您使用体验,部分场景规则策略详见:自定义伸缩最佳实践。