
我们维护一个运维助手:它回答关于受监控基础设施的问题——当前全网在发生什么、某条链路为什么断了、某个告警以前有没有出现过。答案来自查询监控系统的工具,语言模型只负责把结果"写成人话"。这里有一条铁律:不许编造任何数字,每句话都要过一道护栏,跟证据比对。
原来的模型是一张 24GB RTX A5000 上的 Q4 量化 Qwen3-27B。能用,但撑不住规模:两个操作员同时问,一个答案要 15 秒以上;八个并发,首 token 要等 22 秒。问题是:一个每 token 只激活部分参数的 MoE 模型,能不能接过来,而且不比原来更能编?以及——怎么证明它确实没退步?
这个模型既不决策也不计算。问题先过意图识别(词典 + LAYA 分类器),再生成计划,由类型化工具查询监控系统、只返回聚合结果,绝不返回原始数据。模型基于 DATA 块写答案,护栏逐句核对每个数字和名字:精度够的地方删掉不通过的,其余标成"未验证"。
模型是系统里最贵、也是唯一会编的部件。所有类型化决策和计算都留在代码里。换它,只动一处连接。这个定位很关键——它决定了后面所有优化的重点顺序。
给一个不许编的系统换模型,评判标准不能看句子是谁写的。我们设计了一套:96 个配对问题,全部没进过训练;后端冻结在某个 commit;每句话的真伪由盲检员判定,他们既不知道是哪家的模型写的,也不知道护栏怎么判的。一个周期里总共检了 16,146 句。
两个核心指标:自己编造率(被证据推翻的假句 ÷ 被判定的句子)和漏到操作员面前的假句率(被当成事实读到的)。而且每次最终对比都在同一时间窗内做 A/B——不同时间跑,监控系统状态不一样,跨时间比毫无意义。
三个候选过同一套 bench。Qwen3-30B-A3B-Instruct-2507 直接淘汰:编造率是 dense 模型的 4 倍(16.1% vs 4.0%)。Qwen3.6-35B-A3B(约 3B 激活参数的 MoE)快了约 4 倍,但编造多 1.7 倍——过不了"质量不下降"这条线,于是成了微调候选。
有意思的是,三个模型的错误行为惊人一致:因为没有工单就断言"没有事故";把切片当全体("最严重的 8 个"说成"最严重的那批");把当前快照说成"昨天";混淆节点和虚拟机;标错严重程度。这些是行为问题,不是知识问题——这个判断决定了微调的方向。
微调不教电信知识:运维数据会过期,那是 RAG 和工具的活。微调教的是行为:别编、写"N of TOTAL"、别把 now 说成一个时间段。
数据构建很讲究:478 个问题(开发+真实),没一个进过那 96 个测量集,也不来自盲检集;4,396 句盲检,每个假句由检员只用模型当时看到的证据来改正;同 prompt 配对——拒绝答案是原文,接受答案是同一段文字、只把假句替换或删掉,得到 243 个 DPO 对(486 句)和 214 个 SFT 样例,全部为真。
为什么不用别的模型的答案当"接受答案"?因为那会带进 prompt 里没有的数字,等于教模型引用它没见过的东西。匿名化也是全程的:主机保留角色名,VM 变成 VM-,IP 换成文档地址,数据集里客户名出现次数为 0。
LoRA bf16、rank 16,只作用在 attention、DeltaNet 和共享专家上,路由专家保持原样。SFT 跑 1 轮,DPO 跑 2 轮(β 0.1),在 96GB RTX PRO 6000 上约 25 分钟。合并后用 87.6 万领域 token 建 imatrix 做混合量化:LoRA 动过的地方用 Q8_0,专家的 gate/up 用 IQ3_S、down 用 IQ4_XS,最终 17.49GB,KLD 0.42(对比统一 IQ4_XS 的 17.64GB、KLD 0.59)。base 和 tuned 用同一套量化配方,保证比较只反映训练本身。
结果第一版就踩坑:旧工具下编造率只从 7.2% 降到 6.1%(−15%,不显著),但 84 个答案里有 3~5 个陷入循环——同一句话重复最多 65 次,撞到 1,400 token 才停。base 模型一次都没有。
根因是 DPO 同时降低了"接受答案"的概率(验证集 reward −1.65),只是降得比拒绝答案少一点。这就是 likelihood displacement,一个众所周知的退化配方。
没用的四件事:加 8 条 prompt 规则——恰恰加重了它描述的那些错误,列出一个概念就是在暗示模型用它;llama.cpp 的 DRY 采样器把循环从 3 次降到 1 次,但清单外的主机名从 12 个暴涨到 92 个——错误的名字比循环更糟。
真正有用的:先修工具和护栏,再动模型。这一轮最大的质量提升根本不来自模型——在 27B 上,漏到操作员面前的假句从 8.1% 降到 3.7%(z=3.35),被误删的真句从 29 句降到 0:护栏在测得精度低于 80% 的地方标"未验证",只在 80% 以上才删。工具修好之后,微调才开始见效:tuned MoE 漏网假句 4.8%,base MoE 是 9.1%。
微调 v2 改用带 SFT 项的 DPO(RPO,α=1),接受答案的 reward 从 −1.65 回到 −0.90,长循环消失。再加一个客户端断路器:流式合成时,同一句第 3 次重复就切断生成、释放服务槽位,把中断声明为一个明确的缺口——它不碰采样器,所以不会搞坏名字。v2 在 96 个问题里 0 循环。
真实合成 prompt、1~12 并发流式测试:8 并发下 27B 的 TTFT 是 22.3 秒,MoE v2 开 8 槽是 0.4 秒;每分钟答案数从 10.3 升到 39.0。能塞下 8 槽,是因为混合 MoE(DeltaNet + attention)只在 attention 层保留 KV,比 dense 少约 5 倍;整栈 20.3GB(27B 是 22.1GB),跑在 24.5GB 卡上。按每分钟约 40 个答案算,同一张卡能服务 80~120 个每 2~3 分钟问一次的操作员。
上线方式:compose 文件里加一个新服务,用官方 llama.cpp 镜像,发布到和旧模型相同的地址——客户端零改配置。(本地自 build 的镜像在 GPU 上算错 IQ3_S,这是试飞时发现的。)dense 模型留在盘上、只禁用单元,回滚约 1 分钟。
1. 先修工具再修模型。最大的质量收益来自工具和护栏校准。
2. 同 prompt 配对。接受答案是同一答案的修正版,不是另一个模型的输出。
3. 纯 DPO 会退化。不加 SFT 项,好答案的概率也会掉,模型陷入循环。
4. prompt 规则不是免费的。列 8 条注意事项,反而加重了它描述的 8 类错误。
5. 采样器搞坏的东西用代码保护。反重复采样会篡改名字,客户端断路器不会。
6. A/B 要在同一窗口、盲判真伪。每个模型 600~900 句时,1~2 个点是噪声,拿旧测量比会误导。
我们全程把 AI Agent 当团队用:两场工程会话做文件分工、共享验收尺子,盲检员加训练 Agent。AI 加快了执行,但判断和对数字的责任始终在人。那么问题来了:你正在模型层面修的那些错误,有多少其实住在工具里?
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。