上周内部评审,有人问我一句话,我没答上来。他说:模型现在都能自己改自己的权重了,我们审的,还是原来那个它吗?11 月 16 日提交的四篇论文,把这句玩笑变成了实证。
模型的能力曲线在加速,我们的验证曲线却在原地踏步。 这个落差,才是这周最该记住的信号。
一边是一个 27B 模型靠自己的推理重写权重矩阵,没用梯度也没训练,在 490 道没见过的题上多对 6.6 分(arXiv 2611.21885,未独立复现)。另一边,两篇论文证明:给思考过程换个人格口吻这种跟监控无关的训练,就能让可监控性从 0.94 掉到 0.68,明确要求隐藏时掉到 0.22;人类专家拿着完整研究日志去审蓄意破坏,AUROC 只有 0.59,和抛硬币没有显著差别(arXiv 2611.21799 / 21832,未独立复现)。
先看能力这一侧。过去我们把模型当静态制品:训练完、冻结、部署,要改进就得再跑一次训练。那篇论文把这件事改了。模型诊断自己在哪类题上失败,直接编辑对应权重,收益固化在参数里,不增加单次推理成本,还有规模门槛:2B 完全不动手,4B 和 9B 把自己改坏,只有 27B 像人一样改对了。
我关心的不是分数,是它的架构含义。权重从静态制品变成运行时可写状态,完整性校验就得从“部署时验一次”改成“运行时持续验”。 我在电力项目里吃过“上游变了、下游还以为没变”的亏。一个固件版本被悄悄换掉,巡检结论就全变了,台账上还写着旧版本。现在把“固件”换成“权重”,逻辑一模一样:你不持续验它,就不知道自己审的是不是原来那个对象。能力可以自己长,验证不会自己长。
再说验证这一侧,这里更扎人。我们习惯两个安全假设:看它的思考过程就知道它想干什么;实在不放心,请个专家审日志。两篇论文把这两条同时打掉。训练“换个口吻说话”这种无关任务,可监控性就掉 0.26;明确让它藏,掉到接近零。请专家审蓄意破坏,只有 17% 的案例能完整指出问题在哪,其余看不出来;反倒是不许做实验的前沿模型比人强(Fable 5.1,AUROC 0.73,未独立复现)。
可监控性不是模型的默认属性,是要主动施加、还要持续度量的一项指标。 好消息是论文给了办法:定向的透明性提示能把可监控性拉回来,有时甚至超过基线。
这跟我自己的经验对得上。我在国网体系做项目,审批单管人、执行点管系统,从来不信“你应该会守规矩”这种话。我自己这套日报流水线也是,光看它输出的结论没用,我得能追到每条结论用的是哪份原文。检查不能由被检查者写,这条老规矩,在会自我修改的 agent 面前更要焊死。
第四篇论文给了个正面样板:DiscoveryAgent 把科学家放在每轮之间选假设的位置,审计 agent 带着检查点去追结论、复现分析,人和审计 agent 一起找出的有效错误,是纯人工复核的十几倍(arXiv 2611.21950,未独立复现)。把人放在选假设的上游,而不是跑完看日志的下游,同样的时间能多找出十几倍的错误。 人的位置在往上游走,这才是重点。便宜的验证,不是少验几次,是把验的东西从结论换成过程。