首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >别让写答案的 AI 自己判卷:验证回路为什么需要一个失忆的对手

别让写答案的 AI 自己判卷:验证回路为什么需要一个失忆的对手

作者头像
海风自语
发布于 2026-11-21 08:51:40
发布于 2026-11-21 08:51:40
240
举报

我以前查日报流水线的错,都是让写结论的那个 agent 再回来看一遍。它读到最后,还是觉得自己写得对。让写答案的 agent 再读一遍,等于让考生自己判卷。

OpenAI 11 月 19 日把这道工序做成了系统:Performance Factory 让 Codex 从告警一路查到 ChatGPT 的性能回归,三个月跑了一千七百多次调查、定位六百多个根因,最后约五十个上线的修复受影响,完全由 Codex 写的 PR 只有十五个。真正改变我做法的是一个细节:诊断之后,另起一个全新上下文的 Codex 会话,唯一任务是推翻前一个结论。约四分之一的诊断被打了回去。

验证不是多问一遍,是换个脑子再问一遍。

复核者得是个失忆的对手

OpenAI 说,早期的 agent 常常停在第一个看起来合理的原因上。他们举的例子里,有一次把对话失败归到图片下载出错,复核会话发现负责找文件的内部服务早恢复了、图片请求还在失败,于是把案子打回去重查。

复核者的价值,在于它没看过前面的推理过程。 在同一个会话里让它「再仔细看看」,它只会沿着老路再走一遍;换一个空上下文,把证据和任务记录交过去、明确要求证伪,它才会去试反例。这个结构和我在国网做审批门是一个道理:审批单管人,执行点管系统,中间那段交给流程。判断的人不碰执行,执行的人不自己批。

我后来给自己的流水线补了最简单的一道闸:每条结论出稿前,把正文和它的来源清单分开交给另一个会话,只问一句「这几条证据撑不撑得住这句话」,不问「写得好不好」。问法一换,它挑错的概率明显高了。成本不过是多一次调用,比事后返工便宜得多。

同一周还有个更硬的样本。Anthropic 11 月 17 日的 research 说,Claude Fable 5.2 的并行 agent 群解了两道黑洞物理开放问题:先让模型列了 22 个候选,一个问题一个 agent 在后台跑约六周,最后用 Lean 做形式化验证、用不同方法交叉核对、物理学家逐条检查每个主要结果。能把判断写进机器可校验的符号里,就别写进提示词里。两篇预印本还没同行评审,也不描述我们的宇宙,但那套「异方法交叉+形式化验证+人逐条看」的收口方式,比让另一个 agent 再读一遍结实得多。

证据要放在 agent 的脑子外面

Performance Factory 还有个容易被忽略的设计:它不把原始遥测塞进任务记录,只存高层结论和可重跑的查询,下游 agent 要用时自己再去查。证据要留在上下文之外,人才有地方可查。

我自己的日报流水线吃过这个亏:长会话跑到后面,结论和它的来源一起被压缩掉,想查都查不回去。现在我把每条结论的出处单独落盘,正文里只留指针。接的正是 11 月 18 日那条「压缩丢授权范围」的教训。上下文会压缩,文件不会;省下来的不是 token,是回头能重跑一遍的能力。

他们给的数字也诚实:诊断准确率抽检一百条是七成,三成要么要返工、要么压根没建立因果;六百多个根因里只有约四百走到修复提案,约五十个真正上线。找到错和修对错是两件事,中间隔着一道人闸。人在哪里签字?在 merge 那一步。加缓存能提速,但会不会带来脏数据,这种架构取舍不该由 agent 拍板。

自动化最贵的不是算力,是让人重新相信系统的那次复核。

马上可以动手的三件事

  1. 给跑得最久的那个 agent 流程加一道「失忆复核」:另起会话,只给证据和任务记录,指令写成「推翻这个结论」,不许看前一轮的对话。
  2. 把结论和出处拆开存:正文只留指针,可复现的查询单独落盘,让下一个 agent 用时能自己重跑一遍。
  3. 列出流程里所有不可逆动作(发邮件、合并代码、改配置),人只守这一层;其余环节放给 agent 自动跑。

今日其他信号速览

  • 11-19|花旗、PNC、摩根大通、美国银行、Citizens 五家把第三方 AI agent 造成的损失(含被盗)划给客户,自家 agent 豁免,授权即担责。
  • 11-17|商汤开源 SenseNova Loop-9B:9B 参数层循环复用出约 14.6B 等效计算,4bit 权重 4.9GB、10GB 显存可跑,官方对表 27B 级模型(未独立复现)。
  • 11-19|匿名模型 Gestalt 登顶 Contra 设计榜,Elo 约 1929、盲评胜率约 90%,压过人类参考稿,开发者至今无人认领。
  • 11-19|claude-code v2.1.329 让 hooks 的声明位置在信任对话框里可见,/tasks 可枚举定时任务,并修复配置文件被重置为默认值。
  • 11-20|Codex 0.171.0 把 GPT-6.2 Sol 设为默认模型并默认开启 TUI workspace,默认换了,成本基线就得重测。
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2026-11-20,如有侵权请联系 cloudcommunity@tencent.com 删除
目录
  • 复核者得是个失忆的对手
  • 证据要放在 agent 的脑子外面
  • 马上可以动手的三件事
  • 今日其他信号速览
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档