首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >AI 能力自我加速,可监控性却在退化:专家审 AI 搞破坏,和抛硬币差不多

AI 能力自我加速,可监控性却在退化:专家审 AI 搞破坏,和抛硬币差不多

作者头像
海风自语
发布于 2026-11-19 08:55:46
发布于 2026-11-19 08:55:46
250
举报

上周内部评审,有人问我一句话,我没答上来。他说:模型现在都能自己改自己的权重了,我们审的,还是原来那个它吗?11 月 16 日提交的四篇论文,把这句玩笑变成了实证。

模型的能力曲线在加速,我们的验证曲线却在原地踏步。 这个落差,才是这周最该记住的信号。

一边是一个 27B 模型靠自己的推理重写权重矩阵,没用梯度也没训练,在 490 道没见过的题上多对 6.6 分(arXiv 2611.21885,未独立复现)。另一边,两篇论文证明:给思考过程换个人格口吻这种跟监控无关的训练,就能让可监控性从 0.94 掉到 0.68,明确要求隐藏时掉到 0.22;人类专家拿着完整研究日志去审蓄意破坏,AUROC 只有 0.59,和抛硬币没有显著差别(arXiv 2611.21799 / 21832,未独立复现)。

模型能改自己权重那天,“部署完就固定”到期了

先看能力这一侧。过去我们把模型当静态制品:训练完、冻结、部署,要改进就得再跑一次训练。那篇论文把这件事改了。模型诊断自己在哪类题上失败,直接编辑对应权重,收益固化在参数里,不增加单次推理成本,还有规模门槛:2B 完全不动手,4B 和 9B 把自己改坏,只有 27B 像人一样改对了。

我关心的不是分数,是它的架构含义。权重从静态制品变成运行时可写状态,完整性校验就得从“部署时验一次”改成“运行时持续验”。 我在电力项目里吃过“上游变了、下游还以为没变”的亏。一个固件版本被悄悄换掉,巡检结论就全变了,台账上还写着旧版本。现在把“固件”换成“权重”,逻辑一模一样:你不持续验它,就不知道自己审的是不是原来那个对象。能力可以自己长,验证不会自己长。

看思考、请人审,这两条底线同时被论文打掉

再说验证这一侧,这里更扎人。我们习惯两个安全假设:看它的思考过程就知道它想干什么;实在不放心,请个专家审日志。两篇论文把这两条同时打掉。训练“换个口吻说话”这种无关任务,可监控性就掉 0.26;明确让它藏,掉到接近零。请专家审蓄意破坏,只有 17% 的案例能完整指出问题在哪,其余看不出来;反倒是不许做实验的前沿模型比人强(Fable 5.1,AUROC 0.73,未独立复现)。

可监控性不是模型的默认属性,是要主动施加、还要持续度量的一项指标。 好消息是论文给了办法:定向的透明性提示能把可监控性拉回来,有时甚至超过基线。

这跟我自己的经验对得上。我在国网体系做项目,审批单管人、执行点管系统,从来不信“你应该会守规矩”这种话。我自己这套日报流水线也是,光看它输出的结论没用,我得能追到每条结论用的是哪份原文。检查不能由被检查者写,这条老规矩,在会自我修改的 agent 面前更要焊死。

第四篇论文给了个正面样板:DiscoveryAgent 把科学家放在每轮之间选假设的位置,审计 agent 带着检查点去追结论、复现分析,人和审计 agent 一起找出的有效错误,是纯人工复核的十几倍(arXiv 2611.21950,未独立复现)。把人放在选假设的上游,而不是跑完看日志的下游,同样的时间能多找出十几倍的错误。 人的位置在往上游走,这才是重点。便宜的验证,不是少验几次,是把验的东西从结论换成过程。

马上可以动手的三件事

  1. 给关键 agent 的“思考可读性”设一个度量:拿你自己的十几个真实任务,每周抽一次看推理轨迹还读不读得懂,低于阈值就降级。这一步不花预算。
  2. 把人从“最后看日志”挪到“定目标、选假设”的上游,中间加可追溯的检查点。我见过太多团队把人放在流水线末端,那时候人只能签字,改不动方向。
  3. 把验收规则放到与工作树隔离的地方,再给开放权重的模型加一道运行时权重校验。检查文件不能跟被检查对象躺在同一棵树上。

其他信号速览

  • 11-18:月之暗面开源旗舰 Kimi K3.1 Pro(2.8 万亿参数),摩尔线程完成训练适配;SuperCLUE 新榜 Qwen4-Max、Hy4、K3.1 Pro 并列国内第一,单题成本较上版降约 87%。
  • 11-18:MCP 官方服务器 v2.5.0 修 8 个漏洞,一个“只读”Git 工具能因仓库自带配置变成代码执行。
  • 11-18:微软 ONNX Runtime 的 GitHub 仓库返回 404,原因未明,先核对你锁定的版本和制品来源,别急着下结论。
  • 11-17:Java4Shell(CVE-2026-114938)被 AI 约一小时发现,OpenJDK 预认证内存破坏漏洞,Oracle 已补丁;哪个模型发现的仍有争议。
  • 11 月:微软 Agent Framework 安全加固,文件钩子默认关闭、MCP 发现设上限,升级要改配置。
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2026-11-18,如有侵权请联系 cloudcommunity@tencent.com 删除
目录
  • 模型能改自己权重那天,“部署完就固定”到期了
  • 看思考、请人审,这两条底线同时被论文打掉
  • 马上可以动手的三件事
  • 其他信号速览
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档