我以前查日报流水线的错,都是让写结论的那个 agent 再回来看一遍。它读到最后,还是觉得自己写得对。让写答案的 agent 再读一遍,等于让考生自己判卷。
OpenAI 11 月 19 日把这道工序做成了系统:Performance Factory 让 Codex 从告警一路查到 ChatGPT 的性能回归,三个月跑了一千七百多次调查、定位六百多个根因,最后约五十个上线的修复受影响,完全由 Codex 写的 PR 只有十五个。真正改变我做法的是一个细节:诊断之后,另起一个全新上下文的 Codex 会话,唯一任务是推翻前一个结论。约四分之一的诊断被打了回去。
验证不是多问一遍,是换个脑子再问一遍。
OpenAI 说,早期的 agent 常常停在第一个看起来合理的原因上。他们举的例子里,有一次把对话失败归到图片下载出错,复核会话发现负责找文件的内部服务早恢复了、图片请求还在失败,于是把案子打回去重查。
复核者的价值,在于它没看过前面的推理过程。 在同一个会话里让它「再仔细看看」,它只会沿着老路再走一遍;换一个空上下文,把证据和任务记录交过去、明确要求证伪,它才会去试反例。这个结构和我在国网做审批门是一个道理:审批单管人,执行点管系统,中间那段交给流程。判断的人不碰执行,执行的人不自己批。
我后来给自己的流水线补了最简单的一道闸:每条结论出稿前,把正文和它的来源清单分开交给另一个会话,只问一句「这几条证据撑不撑得住这句话」,不问「写得好不好」。问法一换,它挑错的概率明显高了。成本不过是多一次调用,比事后返工便宜得多。
同一周还有个更硬的样本。Anthropic 11 月 17 日的 research 说,Claude Fable 5.2 的并行 agent 群解了两道黑洞物理开放问题:先让模型列了 22 个候选,一个问题一个 agent 在后台跑约六周,最后用 Lean 做形式化验证、用不同方法交叉核对、物理学家逐条检查每个主要结果。能把判断写进机器可校验的符号里,就别写进提示词里。两篇预印本还没同行评审,也不描述我们的宇宙,但那套「异方法交叉+形式化验证+人逐条看」的收口方式,比让另一个 agent 再读一遍结实得多。
Performance Factory 还有个容易被忽略的设计:它不把原始遥测塞进任务记录,只存高层结论和可重跑的查询,下游 agent 要用时自己再去查。证据要留在上下文之外,人才有地方可查。
我自己的日报流水线吃过这个亏:长会话跑到后面,结论和它的来源一起被压缩掉,想查都查不回去。现在我把每条结论的出处单独落盘,正文里只留指针。接的正是 11 月 18 日那条「压缩丢授权范围」的教训。上下文会压缩,文件不会;省下来的不是 token,是回头能重跑一遍的能力。
他们给的数字也诚实:诊断准确率抽检一百条是七成,三成要么要返工、要么压根没建立因果;六百多个根因里只有约四百走到修复提案,约五十个真正上线。找到错和修对错是两件事,中间隔着一道人闸。人在哪里签字?在 merge 那一步。加缓存能提速,但会不会带来脏数据,这种架构取舍不该由 agent 拍板。
自动化最贵的不是算力,是让人重新相信系统的那次复核。