我们团队用三个月从零搭起一套内部 AIOps 平台,目标很简单:让告警变少、根因变明、运维变轻松。但三个月里,我们踩的坑比预想中多得多。有技术层面的,也有组织协作层面的。今天把最具代表性的五个坑写出来,希望后来者能少走弯路。
搭建初期,我们以为最难的是算法,实际却是数据。平台需要接入 Kubernetes 指标、日志、链路追踪、变更事件。但每个团队的数据格式五花八门:有的团队日志带毫秒时间戳,有的带微秒;有的指标用 pod_name 标识,有的用 instance;更别提链路追踪的 span 结构差异。结果就是清洗代码占了整个项目三分之一的工作量。
我们的教训是:必须先统一数据规范,再谈 AI 分析。 不然后续每个模型都吃到脏数据,效果可想而知。应做的动作是定义一套内部 Schema 并强行约束上游接入:
# 统一指标键名映射
NORMALIZATION_RULES = {
"pod_name": "resource.id",
"instance": "resource.id",
"namespace": "resource.namespace",
"container_cpu_usage_seconds_total": "metric.cpu.usage",
"http_request_duration_seconds": "metric.latency"
}
def normalize_metric(raw: dict) -> dict:
result = {
"timestamp": raw.get("timestamp"),
"resource": {},
"metric": {}
}
for k, v in raw["labels"].items():
if k in NORMALIZATION_RULES:
target = NORMALIZATION_RULES[k]
if target.startswith("resource"):
result["resource"][target.split(".")[-1]] = v
else:
result["metric"][target.split(".")[-1]] = v
return result好的数据管道应该像“高速公路”,而不是“乡村土路”。宁可前期多花时间制定标准,也不要让每个接入方自行发挥。百渡学习
最初我们想快速出效果,用现成的 Alertmanager 规则做告警聚合。先是简单按 Pod 名称聚合,后来又加“连续 N 次才触发”之类的规则。规则越堆越多,最后互相冲突,误报率不降反升。
核心问题在于:我们没有把时间序列模式和业务上下文结合起来。后来我们把规则从“阈值判断”改为“动态基线 + 趋势相似度”,效果才立竿见影。
from scipy.stats import zscore
def detect_baseline_anomaly(series, window=24):
"""动态基线检测,比固定阈值更适应业务波动"""
# 按天同刻取历史数据作为基线窗口
baseline = series[:-window]
current = series[-1]
baseline_std = np.std(baseline)
if baseline_std < 1e-9:
return False
anomaly_score = abs(current - np.mean(baseline)) / baseline_std
return anomaly_score > 3.0真正的降噪应该基于“这个指标在此时此刻正常应该是什么样”,而不是“永远低于某个值”。规则堆砌只会维护爆表,动态基线才能自适应。
我们曾试图直接训练一个图神经网络来做根因定位,花了三周标注数据,最后准确率只有 38%。原因很简单:标注数据太少且质量不高,故障场景本来就稀缺,加上服务依赖关系变动频繁,模型学到的规律很快就过时了。
现在我们的方案是“非监督图算法 + 人工规则混合”:用 PageRank 对服务依赖图做传播排序,再结合日志关键词权重,找到最可疑的源头。优点是无需海量标注,解释性强,业务侧也容易接受。
import networkx as nx
# 读取服务拓扑,节点带权重
G = nx.read_edgelist("svc_topology.edges", create_using=nx.DiGraph())
# 活跃告警节点注入权重
for alert_node in active_alerts:
if alert_node in G:
G.nodes[alert_node]["alert_weight"] = 5
# 加权PageRank,输出可疑根因
ranks = nx.pagerank(G, weight="alert_weight")
top_root_causes = [node for node, _ in sorted(ranks.items(), key=lambda x: x[1], reverse=True)[:3]]如果标注数据不充分,复杂模型就是花架子。先用可解释算法跑通闭环,再逐步用 ML 替换,是更稳妥的路径。
平台能检测出根因了,但自动化修复却遭到运维同事的强烈反对。他们担心 AI 误操作直接扩缩容、重启服务,出问题没人担责。于是平台变成了“诊断报告生成器”——只输出建议,没有实际动作,价值大打折扣。
解决的方法不是硬推,而是设计一个“渐进式信任”机制:第一阶段只做通知和工单;第二阶段允许在沙箱环境执行;第三阶段在生产环境对“低风险动作”自动执行,但要有人工审批。同时每步动作都记录完整的操作审计,出了问题可以回滚。
class AutoActionExecutor:
def __init__(self, mode="notify_only"):
self.mode = mode
def execute(self, action: dict, context: dict):
if self.mode == "notify_only":
self.send_ticket(action, context)
elif self.mode == "auto_approve":
if action["risk_level"] == "low":
self.run_k8s_operation(action) # 低风险自动执行
else:
self.require_manual_approval(action)
# 全程写入审计日志
audit_logger.log(action, context)自动化不是一蹴而就,而是越用越敢用。把决策权和责任边界划清楚,运维团队才愿意配合。
AIOps 平台如果只注重训练模型和展示 Demo,而忽略了任务调度、版本管理、训练数据版本化、模型灰度发布等工程能力,那就只是个玩具。我们在上线后发现算法效果很好,但无法持续保持:数据分布一变,模型就失灵;想回滚到上一版,却找不到当时用的代码和数据。
最终我们补齐了模型仓库与实验追踪:
# 使用 MLflow 进行实验追踪
import mlflow
mlflow.set_experiment("anomaly_detection")
with mlflow.start_run():
mlflow.log_param("window_size", 24)
mlflow.log_param("threshold", 3.0)
mlflow.log_metric("precision", precision)
mlflow.log_artifact("baseline_model.pkl")这看起来“不酷”,但恰恰是 AI 平台能不能长期存活的关键。缺少工程底座,再好的算法也只是昙花一现。
从 0 搭建 AIOps 平台,每一步都可能踩坑,但核心坑无非集中在三处:数据不规范、模型不务实、自动化不落地。我们的经验是:先标准、后算法;先可解释、后黑盒;先通知、后执行。 AIOps 是系统工程,不是算法竞赛。谁尊重数据,谁分步落地,谁才能真正实现运维智能化。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。