负载伸缩规则设置实践教程

最近更新时间:2023-09-14 14:40:21

我的收藏
根据集群 YARN的指标变化的情况,选择过去时间符合业务变化的指标,配置具体的阈值,然后保存并应用,在业务发生变化后,即会触发对应规则;指标的选择要与容量变化成反比,在伸缩活动发生后,实例数量的变化可以降低对应的指标。
例如:
配置扩容规则,如果在300秒内 AppsPending#root 的平均值 >= 1,重复连续出现2次,则触发扩容动作,可以有效的减少队列中挂起的任务数。
扩容规则:

缩容规则同理:请根据实际情况设置,其他规则配置项及使用介绍详见:设置负载伸缩
1.1 每一条规则内,可以配置多条指标条件,当同时满足指标条件时,触发伸缩。
1.2 为了避免频繁的扩缩容导致资源浪费,可以为规则配置一定的冷却时间。在冷却时间内,即使满足伸缩条件也不会发生伸缩活动。
1.3 配置有效时间(当前规则在自定义时间范围内生效),可以组合不同的伸缩规则,在不同时间段配置不同内容的伸缩条件。

注意:
1. 扩容在高峰下单时可能由于资源争抢导致实际扩容机器数量达不到弹性目标数量,建议您扩容规则“开启资源补足重试策略”。
2. 缩容动作触发时可能节点正在执行任务,为避免节点不会被立即释放,建议您开启优雅缩容,详见优雅缩容