云上做恢复演练,最容易出现一种错觉:控制台显示实例「运行中」,就以为业务恢复了。实际上,从实例可用到业务可用,中间还有账号、连接、任务、入口四道关。
示例环境:文中实例、账号、耗时均为脱敏教学示例,不代表任何云厂商的默认行为。
云上恢复经常换实例、换地址,白名单和安全组要重新配。
控制台的「运行中」只说明实例进程在跑,不说明:
这五项任何一项没验,业务都可能不可用。
顺序不要跳。跳一步,报告就会多一个「未验」。
建议记两个数:
报告里两个都写,避免「22 分钟恢复成功」这种容易误解的说法。
这篇讲云上恢复演练的检查顺序,不讲具体云产品的操作。不同产品的白名单、安全组、连接串、负载均衡配置都不同,照顺序换操作。
示例环境:实例、账号、耗时均为脱敏教学示例,仅用于说明演练方法,不代表任何云厂商的默认行为或产品能力。
报告里写「22 分钟恢复成功」,容易被理解成「22 分钟业务就能用」。实际口径应该是两个:
两个数都写,业务侧才知道什么时候能对外说「恢复了」。
库恢复、业务登录通过,不等于演练结束。还要做三件事:
演练是演练,不能给生产留下尾巴。
「检查备份是否可用」不是可执行的动作,「用备份恢复到测试实例,执行三条核心查询」才是。清单里每一项都写成「命令/动作 + 预期结果」,换个人也能照着做。
恢复演练不是 DBA 一个人的事。应用、运维、业务都要提前约好时间,明确谁在哪个环节确认。演练当天才找人,大概率会停在「库起来了,应用没人验」。
在演练脚本第一行加了一句:「本次演练以业务登录成功为结束条件。」
这句话写上去之后,大家对「成功」的理解就一致了。
示例环境:库名、账号、耗时、连接数均为脱敏教学示例,仅用于说明演练方法,不代表任何生产环境或产品行为。
恢复后至少看五个指标:
指标 | 看什么 | 异常表现 |
|---|---|---|
连接数 | 应用连接是否建立 | 连接数为 0 或打满 |
慢查询 | 核心语句耗时 | 比基线明显变慢 |
锁等待 | 是否有阻塞 | 等待数持续上升 |
复制/同步延迟 | 是否有滞后 | 延迟持续增大 |
错误日志 | 启动/连接/权限错误 | 反复重连、认证失败 |
指标正常,不代表业务一定可用;指标异常,业务一定有问题。两边都要看。
不是「监控页面能打开」就算恢复。要确认三件事:核心指标都在采集、阈值和原来一致、告警能发到人。演练时可以把告警静音,但演练结束前必须取消静音并测试一条。
DBA 验数据,应用验连接和登录,运维验入口和监控,业务验关键链路。四个人都签,报告才算完整。
示例环境:实例、账号、耗时均为脱敏教学示例。
把流量切回、清理临时账号和任务、确认没有多余的权限或数据留在演练环境。演练是演练,不能给生产留尾巴。
未验项要写清原因、owner 和补验时间。全部写「通过」的报告,通常意味着有人没验却签了字,比写「未验」更危险。
复核单不只看结论,还要看证据。基线截图、计划文本、样本 SQL、更新统计信息的时间,四样附在单后,下次同类问题可以直接对照。
示例环境:文中数字与场景均为脱敏教学示例。
一是把发现的问题写成整改项,指定 owner 和期限;二是更新演练脚本,把新检查点加进去;三是下次演练前先确认上次整改项已完成。没有这三步,演练会变成每年重复一次的同一条流水账。
示例环境:文中实例、账号、耗时均为脱敏教学示例。
恢复演练的结束条件,是业务登录成功,不是数据库启动成功。
示例环境:文中实例、账号、耗时均为脱敏教学示例。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。