运维值班手册：从告警风暴到分级响应的实战

告警风暴里最贵的是注意力

值班最痛的不是故障本身，而是凌晨两点被 200 条告警吵醒，其中 195 条是噪音。告警风暴的真凶通常是：一个根因触发连锁告警（数据库挂了，上下游全在报错）、阈值拍脑袋、告警没有分级。值班手册的目标是把「注意力」花在真问题上。这篇给一套可落地的值班体系。

一、告警分级：P0 到 P3 的处置承诺

所有告警必须分级，且每级有明确的处置承诺：

- P0（电话叫醒）：核心业务不可用、数据丢失风险——5 分钟内响应，全员升级；

- P1（IM 强提醒）：核心功能降级、容量红线触达——30 分钟内响应；

- P2（工作时间处理）：非核心功能异常、资源水位偏高——当日处理；

- P3（周报消化）：需要关注的趋势——周复盘时过一遍。

分级的关键不是标签，而是承诺：没有响应承诺的分级就是摆设。每季度复盘一次分级的准确率（P0 里有多少误报），持续校准。

二、告警风暴的降噪三板斧

1. 根因聚合：同一根因的连锁告警合并为一条「事件」，上下游告警挂到事件下面——Prometheus 的 inhibit 规则或告警平台的聚合能力；

2. 静默与维护窗口：已知变更（发布、割接）期间预设静默，避免发布引发告警风暴；

3. 告警即工单：每条 P0/P1 告警自动生成事件工单，处置过程留痕——复盘时才有材料。

一个量化校验：告警的「处置率」应高于 90%（每条告警都值得处置），低于这个数说明告警质量差，该删的删、该降级的降级。

三、值班手册的结构：让新人也能接手

值班手册的核心是「让不熟悉系统的人也能正确响应」：

1. 服务拓扑图：一页纸看清核心链路与依赖关系；

2. 常见故障的 Runbook：每个 P0/P1 场景一条标准处置流程（现象、定位命令、临时措施、根治方案）；

3. 升级路径：处置 15 分钟无进展就升级，联系人列表实时维护；

4. 交接班清单：正在处理的事件、待观察项、最近变更——交接班遗漏是二次故障的常见来源。

四、复盘机制：从故障中提取制度

每次 P0/P1 复盘产出三样东西：时间线（发现/定位/恢复各阶段的真实耗时）、根因（技术根因 + 流程根因）、行动项（有 owner 和截止时间的改进项）。行动项的完成率是复盘是否流于形式的试金石——复盘会上说「下次注意」没有任何价值。

结语

值班体系的成熟度体现在「告警越来越少、响应越来越快、新人越来越快上手」。从告警分级和 Runbook 起步，两周就能建起初版——剩下的靠持续复盘迭代。