高峰把云数据库 MySQL 的 CPU 打满,打开 CPU 弹性扩容之后,监控曲线回落一点,慢查询还在。自动扩容只在原始核数上再加一倍,IOPS 按每核 1000 定额增加;内存、最大连接数不在扩容接口的入参里。触发用的也不是控制台那条 CpuUseRate。
自动扩容,以及自定义扩容里的自动扩容保障,不是拿控制台平均值去比阈值。简介里的扩容规则写的是:单独采集 1 秒级 CPU,用观测窗口的 p90 判断。阈值 80% 时,要有不少于 90% 的采样点都达到 80%,才会扩。控制台上的窗口是 15 秒、30 秒、45 秒、1 分钟、3 分钟、5 分钟、10 分钟、15 分钟、30 分钟。接口字段是 ExpandSecondPeriod,取值 15、30、45、60、180、300、600、900、1800,单位秒。
这组 1 秒样本不是 CpuUseRate。该指标在命名空间 QCE/CDB 下,5 秒和 60 秒周期的统计规则都是 max。max 会被几秒尖刺抬高,p90 不会。1 分钟图上看到 90%,窗口里的 p90 仍可能低于 70%,策略不触发。用 5 秒 max 回放 p90,也对不上。反过来,窗口设成 15 秒、阈值 70%,窗口内不少于九成的 1 秒采样点过线就会扩,不必等 5 分钟图变红。
ExpandPeriod、ShrinkPeriod 已废弃,单位仍是分钟。查询示例里这两个字段可以是 0,不能据此判断窗口。以 ExpandSecondPeriod、ShrinkSecondPeriod 为准。废弃字段不要按秒去填。
自动扩容的额外核数不能改,等于原始核数。4 核变成 8 核。已经扩到 8 核之后,不能再翻到 16,文档写明无法在提升后的核数上继续提升。StartCpuExpand 的 ExpandCpu 是自定义扩容要增加的 CPU 核心数,8 核 16G 的上限是 8,范围 1 到 8,按额外核数理解,不是目标总核数。简介把 4 核实例的可选值写成 5 到 8,和接口不一致。调用时按额外核数传。
原始规格超过 32 核不能开。能开的架构是通用型双节点、通用型三节点,或单节点本地盘只读。非强隔离实例调用 StartCpuExpand 返回 UnsupportedOperation.NotSupportNormalInstance。
文档写明同步上升的只有 IOPS,每多 1 核加 1000。4 核扩到 8 核,IOPS 配额加 4000,不是按规格比例放大,也不等于换了一块更高性能的云硬盘。计费按增加的核数算,没有内存项。生效后规格栏显示 4(8)核:文档的例子是原始 4 核、当前按 8 核在跑。
核数变了,CpuUseRate 的分母也变了。利用率从 80% 掉到 40%,只说明相对新核数的占用变低,不说明语句变快。行锁、缓冲池读盘、单连接上的热点,都不会因为分母变大而消失。扩之前 IopsUseRate 已经顶满的,这 4000 也不一定够。扩完要看 Iops 和 IopsUseRate,不要看 CPU 曲线就收工。
双节点、三节点的扩容同时作用在主节点和备节点上。这段时间发生 HA 切换,新主仍是扩容后的核数;自动缩容或关闭之后,才回到原始规格。只读实例和灾备实例不跟随,要各自开启。读写分离时,读还在原规格只读上。只读打满以后,如果应用或代理把读切回主库,主库 CPU 会继续高,看起来像扩了没用。只读能不能开,还要看架构:开启前提里,只读只列了单节点本地盘,其他形态以控制台有没有入口为准。
调整配置完成后,弹性扩容会被关掉。迁移也会关掉,包括主动迁移,以及主实例升级连带只读一起迁的流程内迁移。升配或迁移做完不再打开,下一次高峰就没有弹性。DescribeCPUExpandStrategyInfo 的 Type 为 null,表示当前没有策略。不要凭「上个月开过」判断。
扩容成功后至少保持 10 分钟才允许缩容。这 10 分钟里即使已经低于缩容阈值,也不会缩。缩容窗口只有 5、10、15、30 分钟,对应 ShrinkSecondPeriod 的 300、600、900、1800。缩容阈值只有 10%、20%、30%。文档对缩容的写法是观测窗口内使用率低于阈值,没有写成和扩容一样的 p90,不要拿扩容公式去套。最短保持和缩容窗口是两段条件,都满足才缩。CPU 一直高于缩容阈值,过了 10 分钟也不会缩。
自动扩容按量计费,没真正扩上去不收费。公式是单核单价乘增加的核数乘分钟,再除以 60,每小时扣一次。持续时间小于等于 10 分钟,按 10 分钟计。单价按地域和架构分表,写在计费文档里,不要把某个地域的数字抄进手册。自定义扩容选立即生效时,不手动关闭会一直按增加的核数计费。关闭自动扩容时,文档写明已扩的 CPU 会立即回缩。
扩不上去的原因,文档只列了两类:账户余额不足,或宿主机没有足够的 CPU。失败事件的指标名是 CPUExpansionFailed,控制台事件名是「CPU 性能扩容失败」。回缩事件的指标名文档写成 CPUConstraction,控制台显示「CPU 性能回缩」。只配了 CpuUseRate 的指标告警,看不到扩容失败。余额不足时,文档要求充值后重试,不要假设充值完成会自动再扩一次。开启说明里另有一句:极低概率无法弹起,后台会重试直到弹起。这和余额不足、宿主机资源不足导致的失败事件不是同一条路径。
告警策略类型选云数据库 MySQL,在事件告警里加上「CPU 性能扩容」和「CPU 性能扩容失败」。主机监控和备机监控按事件告警文档区分,分别适用于不同的实例类型。不要只用 CpuUseRate 指标告警代替事件。
策略还在不在,看 Type。auto、manual、timeInterval、period 才是开着。tccli 需已配置密钥;地域和实例 ID 换成自己的。复杂类型参数要传标准 JSON。
tccli cdb DescribeCPUExpandStrategyInfo \
--region ap-guangzhou \
--InstanceId cdb-example有没有真正扩过,看最近 30 天的历史。查询参数 Status 可取 extend、reduce、extend_failed。返回里的 OperationType 在接口示例中是 reduce,对照 OldCpu 和 NewCpu 看核数变化,失败记录看 Error。时间戳是秒,超出 30 天查不到。
end=$(date +%s)
start=$((end - 86400))
tccli cdb DescribeCpuExpandHistory \
--region ap-guangzhou \
--InstanceId cdb-example \
--ExpandStrategy all \
--Status all \
--StartTime "$start" \
--EndTime "$end" \
--Limit 20缓冲池和最大连接数不在扩容接口里。扩完再查一次,仍是原值是预期结果,不是扩容没生效。延迟不会因为缓冲池变大而下来。Threads_running 不高、Innodb_row_lock_current_waits 在涨,慢在锁,不在核数。Innodb_buffer_pool_reads 持续增加,慢在读盘,先看 IopsUseRate。
SELECT
@@innodb_buffer_pool_size AS buffer_pool_size,
@@max_connections AS max_connections;
SHOW GLOBAL STATUS WHERE Variable_name IN (
'Threads_running',
'Innodb_row_lock_current_waits',
'Innodb_buffer_pool_reads'
);要改窗口,用秒级字段。下面是自动策略:60 秒窗口内 p90 达到 70% 才扩,使用率低于 20% 且缩容窗口为 5 分钟才进入缩容判断。最短保持 10 分钟是产品规则,不在这份 JSON 里。
tccli cdb StartCpuExpand \
--region ap-guangzhou \
--InstanceId cdb-example \
--Type auto \
--AutoStrategy '{"ExpandThreshold":70,"ShrinkThreshold":20,"ExpandSecondPeriod":60,"ShrinkSecondPeriod":300}'返回里的 AsyncRequestId 只说明任务已提交。是否生效,回到历史里看核数是否变化,或看规格栏是否变成 4(8)核。
ExpandSecondPeriod。15 秒窗口容易被短平台触发,触发后至少保持 10 分钟,不足 10 分钟也按 10 分钟计费。Type。null 就再开一次。innodb_buffer_pool_size、max_connections 和 IopsUseRate。这三项不在扩容接口里。参考文档:
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。