首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >从 0 搭建 AIOps 平台:谈谈我们踩过的那些坑

从 0 搭建 AIOps 平台:谈谈我们踩过的那些坑

原创
作者头像
用户12687280
发布于 2026-11-18 11:43:16
发布于 2026-11-18 11:43:16
160
举报

我们团队用三个月从零搭起一套内部 AIOps 平台,目标很简单:让告警变少、根因变明、运维变轻松。但三个月里,我们踩的坑比预想中多得多。有技术层面的,也有组织协作层面的。今天把最具代表性的五个坑写出来,希望后来者能少走弯路。

坑一:数据接入像个无底洞,标准化比技术更头疼

搭建初期,我们以为最难的是算法,实际却是数据。平台需要接入 Kubernetes 指标、日志、链路追踪、变更事件。但每个团队的数据格式五花八门:有的团队日志带毫秒时间戳,有的带微秒;有的指标用 pod_name 标识,有的用 instance;更别提链路追踪的 span 结构差异。结果就是清洗代码占了整个项目三分之一的工作量。

我们的教训是:必须先统一数据规范,再谈 AI 分析。 不然后续每个模型都吃到脏数据,效果可想而知。应做的动作是定义一套内部 Schema 并强行约束上游接入:

代码语言:javascript
复制
# 统一指标键名映射
NORMALIZATION_RULES = {
    "pod_name": "resource.id",
    "instance": "resource.id", 
    "namespace": "resource.namespace",
    "container_cpu_usage_seconds_total": "metric.cpu.usage",
    "http_request_duration_seconds": "metric.latency"
}

def normalize_metric(raw: dict) -> dict:
    result = {
        "timestamp": raw.get("timestamp"),
        "resource": {},
        "metric": {}
    }
    for k, v in raw["labels"].items():
        if k in NORMALIZATION_RULES:
            target = NORMALIZATION_RULES[k]
            if target.startswith("resource"):
                result["resource"][target.split(".")[-1]] = v
            else:
                result["metric"][target.split(".")[-1]] = v
    return result

好的数据管道应该像“高速公路”,而不是“乡村土路”。宁可前期多花时间制定标准,也不要让每个接入方自行发挥。百渡学习

坑二:告警降噪做成规则堆砌,越堆越乱

最初我们想快速出效果,用现成的 Alertmanager 规则做告警聚合。先是简单按 Pod 名称聚合,后来又加“连续 N 次才触发”之类的规则。规则越堆越多,最后互相冲突,误报率不降反升。

核心问题在于:我们没有把时间序列模式和业务上下文结合起来。后来我们把规则从“阈值判断”改为“动态基线 + 趋势相似度”,效果才立竿见影。

代码语言:javascript
复制
from scipy.stats import zscore

def detect_baseline_anomaly(series, window=24):
    """动态基线检测,比固定阈值更适应业务波动"""
    # 按天同刻取历史数据作为基线窗口
    baseline = series[:-window]
    current = series[-1]
    baseline_std = np.std(baseline)
    if baseline_std < 1e-9:
        return False
    anomaly_score = abs(current - np.mean(baseline)) / baseline_std
    return anomaly_score > 3.0

真正的降噪应该基于“这个指标在此时此刻正常应该是什么样”,而不是“永远低于某个值”。规则堆砌只会维护爆表,动态基线才能自适应。

坑三:根因分析一上来就用深度模型,结果摔得很惨

我们曾试图直接训练一个图神经网络来做根因定位,花了三周标注数据,最后准确率只有 38%。原因很简单:标注数据太少且质量不高,故障场景本来就稀缺,加上服务依赖关系变动频繁,模型学到的规律很快就过时了。

现在我们的方案是“非监督图算法 + 人工规则混合”:用 PageRank 对服务依赖图做传播排序,再结合日志关键词权重,找到最可疑的源头。优点是无需海量标注,解释性强,业务侧也容易接受。

代码语言:javascript
复制
import networkx as nx

# 读取服务拓扑,节点带权重
G = nx.read_edgelist("svc_topology.edges", create_using=nx.DiGraph())
# 活跃告警节点注入权重
for alert_node in active_alerts:
    if alert_node in G:
        G.nodes[alert_node]["alert_weight"] = 5

# 加权PageRank,输出可疑根因
ranks = nx.pagerank(G, weight="alert_weight")
top_root_causes = [node for node, _ in sorted(ranks.items(), key=lambda x: x[1], reverse=True)[:3]]

如果标注数据不充分,复杂模型就是花架子。先用可解释算法跑通闭环,再逐步用 ML 替换,是更稳妥的路径。

坑四:自动化执行只敢看不敢动,成了“纸上谈兵”

平台能检测出根因了,但自动化修复却遭到运维同事的强烈反对。他们担心 AI 误操作直接扩缩容、重启服务,出问题没人担责。于是平台变成了“诊断报告生成器”——只输出建议,没有实际动作,价值大打折扣。

解决的方法不是硬推,而是设计一个“渐进式信任”机制:第一阶段只做通知和工单;第二阶段允许在沙箱环境执行;第三阶段在生产环境对“低风险动作”自动执行,但要有人工审批。同时每步动作都记录完整的操作审计,出了问题可以回滚。

代码语言:javascript
复制
class AutoActionExecutor:
    def __init__(self, mode="notify_only"):
        self.mode = mode
    
    def execute(self, action: dict, context: dict):
        if self.mode == "notify_only":
            self.send_ticket(action, context)
        elif self.mode == "auto_approve":
            if action["risk_level"] == "low":
                self.run_k8s_operation(action)  # 低风险自动执行
            else:
                self.require_manual_approval(action)
        # 全程写入审计日志
        audit_logger.log(action, context)

自动化不是一蹴而就,而是越用越敢用。把决策权和责任边界划清楚,运维团队才愿意配合。

坑五:重功能轻工程化,平台成为“模型玩具箱”

AIOps 平台如果只注重训练模型和展示 Demo,而忽略了任务调度、版本管理、训练数据版本化、模型灰度发布等工程能力,那就只是个玩具。我们在上线后发现算法效果很好,但无法持续保持:数据分布一变,模型就失灵;想回滚到上一版,却找不到当时用的代码和数据。

最终我们补齐了模型仓库与实验追踪:

代码语言:javascript
复制
# 使用 MLflow 进行实验追踪
import mlflow

mlflow.set_experiment("anomaly_detection")
with mlflow.start_run():
    mlflow.log_param("window_size", 24)
    mlflow.log_param("threshold", 3.0)
    mlflow.log_metric("precision", precision)
    mlflow.log_artifact("baseline_model.pkl")

这看起来“不酷”,但恰恰是 AI 平台能不能长期存活的关键。缺少工程底座,再好的算法也只是昙花一现。

总结

从 0 搭建 AIOps 平台,每一步都可能踩坑,但核心坑无非集中在三处:数据不规范、模型不务实、自动化不落地。我们的经验是:先标准、后算法;先可解释、后黑盒;先通知、后执行。 AIOps 是系统工程,不是算法竞赛。谁尊重数据,谁分步落地,谁才能真正实现运维智能化。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 坑一:数据接入像个无底洞,标准化比技术更头疼
  • 坑二:告警降噪做成规则堆砌,越堆越乱
  • 坑三:根因分析一上来就用深度模型,结果摔得很惨
  • 坑四:自动化执行只敢看不敢动,成了“纸上谈兵”
  • 坑五:重功能轻工程化,平台成为“模型玩具箱”
  • 总结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档