
> MIT CSAIL 让大模型直接读写神经网络权重，不重训、不用梯度，就把数学成绩从 7.9% 提到 48.1%。本文从 AI 测试视角拆三件事：不运行也能审计、最小改动胜过全量重跑、修掉障碍不等于补上能力，以及测试工程师下一步该往哪一级走。

## 一、我们实打实来看这组实验：

![image.png](https://developer.qcloudimg.com/http-save/yehe-9678105/e396233869cdda41508730f0a377ef42.png)


八组实验可以压成三类事实，我只保留能迁移到质量工作的那部分。

| 类别 | 实验做了什么 | 关键结果 |
|---|---|---|
| 读权重 | 四个结构、输入通道、动作空间完全相同的 PPO 策略网络，只喂原始参数 | 未给候选清单，四款游戏全部识别正确；判断依据是第一层参数在哪些通道上铺开、输出层如何分开动作 |
| 读权重 | 三个分别学画圆、三角形、正方形的扩散模型；三个 720 万参数、分别用 Python／罗马音日语／英语训练的字符级模型（摘掉输入输出层，只留中间四个 Transformer 模块） | 语言与图形全部识别；找出了全部复制头且无误报；它复原的图形是空心轮廓，而真实模型输出填实形状——说明它在读结构，不是在脑内跑前向 |
| 修权重 | Kinetix 小车爬坡卡在局部最优，让它解释失败原因并直接写新参数 | 一次改对 3.5% 的参数，改后 1024 次测试全部通过；做法是在每层加一条读位置与速度的神经元旁路 |
| 写权重 | 三款 MinAtar 游戏，只给规则、源码和网络结构，无数据无梯度 | 生成的网络全部超过训练一亿步的 PPO；对比五亿步版本，《打砖块》得分是其 20 倍，《Seaquest》达到 60% |
| 修真实语言模型 | 0.8B 小模型做数学题反复绕圈，让它自己定位并修改 | 定位到第 15 层与第 19 层 MLP 写入的某个方向，从两层各 64 个输出列中减去，共改 131,072 个参数（占八亿参数的 0.016%）；MATH-500 从 7.9% 到 48.1%，GSM8K 从 13.8% 到 67.1%，撞 32,768 token 上限的比例从 93% 降到 33%，指令遵循 IFEval 从 21.0% 到 62.3% |

**同一批实验里有两处失败，比成功更值得测试人记住。**

其一，能力上限不可编造。换 Gemma 3 270M（约 0.8B 模型三分之一大小、很少绕圈、只有 8.5% 的答案撞上限）做同样操作，MATH-500 提升不足 1 个百分点。它查出的毛病是算术算错、代数推导某步不成立这类分散错误，没有一个可以单独关掉的关键组件；作者自己判断这个幅度不足以证明能力提升。

其二，只读结构判不出行为意图。两个用同一份数据微调的 270M 模型，一个老实答题、一个被训练成迎合用户，只给权重时四次尝试全部无法分辨；直到允许查看注意力分布，才把三组模型对里的迎合型全部识别出来。

## 二、测试工程师会被 AI 替代吗？这条新闻拆掉的是哪条前提

**被替代的是"按既定步骤执行并把结果交上去"这部分，不是"判断该看哪里"这部分。** 三条可迁移信号，我按测试口径重写了一遍。


![image.png](https://developer.qcloudimg.com/http-save/yehe-9678105/9d21fdb68b4f893a8349ca196176fb6e.png)



**信号一：不运行模型也能审计。** 过去我们默认模型内部是黑盒，只能靠输入输出反推，所以才需要大量专门设计的测试集和上线前基准。实验里最震动我的是那句"不必运行模型"。这件事对 AI 测试的直接含义是：提示词、Agent 运行框架、评测脚本、模型文件本身，都在"可以不运行先审一遍"的射程内，只是我们很少把它们当一等公民。

**信号二：定位精度决定改动成本。** 0.016% 的改动换 40 个百分点，靠的不是算力，是"知道该看第 15 层和第 19 层"。这正是精准测试喊了很多年却落不了地的逻辑：改动面越小、定位越准，需要重跑的东西越少。过去做不到，是因为定位这件事的人力成本太高。

**信号三：修掉拦路障碍不等于补上能力上限。** 这条对测试最诚实。一个"没通过"至少分两类：拦路型缺陷（循环、截断、超时、环境差异、数据污染——修掉就能恢复原有能力）与能力缺口（本来就不会，修了也不会）。两类的修复成本、验证方式、放行判断完全不同，混在一起报，就会得到"缺陷很多但没人知道能不能修"。

**还有一条隐忧：谁来验证那个负责验证的东西。** 这条路线的终点之一，是让模型检查、调试、改进自己或下一代模型的权重。一旦"改模型"和"评模型"由同一个智能体完成，评测基准本身也变成了可被改动的产物。这个问题过去属于安全审计，接下来会属于测试。

## 三、AI 生成的测试用例怎么验收？五个能立刻做的动作

**1. 把"不运行也能查"列成正式清单。** 模型文件、LoRA 权重、提示词、Agent 工具白名单、评测脚本全部纳入评审对象，规定哪些变更必须先静态过一遍再进流水线。清单要写清看哪里：新增了哪些工具权限、提示词删了哪条约束、评测集是不是被顺手放宽。

**2. 按"能定位到哪一层"重组回归资产。** 别再按模块目录堆用例。一条用例如果只能告诉你"挂了"，它是执行资产；能告诉你"挂在这条链路的这个环节"，才是定位资产。这一步不提前做，将来任何自动定位工具接进来都没有落点。

**3. 抢回"多少算显著"的定义权。** 实验里最关键的判断不是那 40 个百分点，而是那句"1 个百分点不足以证明提升"。这是口径判断，不是执行动作。你的团队里现在谁在定"什么算通过""采样几次取平均""波动多大算噪声"？如果是开发或产品，测试就只剩执行了。

**4. 缺陷报告加一栏分诊。** 拦路型 / 能力缺口两选一，各自写验证方式：前者验证"障碍是否消失"，后者只能验证"能力是否被补上"，成本差一个量级。这一栏写三个月，排期讨论的措辞会变。

**5. 给 AI 产出定验收口径。** 大模型写用例的通病很稳定：只写主干路径、断言浅、mock 过度导致一片假绿。解法不是少用 AI，而是给它定标准——断言密度、变异测试分数、异常分支覆盖率。谁定这套标准，谁就还是流程里的质量负责人。

## 四、5 年测试工程师下一步做什么：换交付物，不是换技能


![image.png](https://developer.qcloudimg.com/http-save/yehe-9678105/e85ad0ee46603aed534dc4f3ffefb188.png)



第一级执行者，交付一批结果：用例、报告、缺陷单。这一级的价值正在被摊薄，因为生成结果这件事工具比人快。

第二级口径设计者，交付一套门禁：什么算通过、什么算显著、哪些改动必须重跑哪一段。这一级的产出工具给不了，它需要业务上下文和历史失败经验——恰好是五年以上的人最厚的部分。

第三级证据链负责人，交付一次可复盘的判断：能不能上线、依据是什么、谁签字。这一级已经不是技术职级问题，而是组织愿不愿意把风险决策交给测试。

自测一句：**过去一个月，你交付的东西里有没有一份是别人必须遵守的？** 如果全是跑出来的结果，你现在所在的位置，正是自动化工具进攻方向最顺的那一段。

## 五、我不建议做的三件事

不建议现在就去补深度学习底层。看懂这组实验需要的不是会推导反向传播，而是会读结构、会追问"这个结论的口径是什么"，这两件事一周能上手。

不建议把职业押注在"AI 能替人调模型"这个叙事上。原文反复强调能力仍受上下文长度与运行框架效率限制，并明确写了这非常早期。从"小模型上初步可行"推到"岗位要消失"，中间那段是营销不是证据。

不建议为了追新把已有回归资产推倒重来。精准测试、缺陷分诊、验收口径全部发生在现有资产之上；历史缺陷库越厚，在新工具面前越值钱，因为工具需要人来告诉它哪里曾经塌过。

## 六、常见问题 FAQ

**测试工程师会被 AI 替代吗？**
被替代的是执行层：按清单跑、把结果交上去。留下的是判断层：该看哪里、什么算合格、谁为结论负责。这组实验恰好提供了反面证据——它能修好一个拦路缺陷，却补不上一个模型压根不具备的能力。

**什么是权重空间编程？**
指让大语言模型按自然语言要求直接读取、修改神经网络参数，不经过优化器、不做梯度下降。目前处于早期实验阶段，规模限于小模型，且受上下文长度限制。

**不运行模型怎么测试？**
把审查对象从行为前移到构造物：读权重结构、读提示词变更、读 Agent 工具权限、读评测脚本口径。这组实验证明"从结构推断行为"在小模型上已经部分可行，即便你不用它，静态审查本身也比等运行时告警更早。

**AI 生成的测试用例怎么验收？**
三条口径：断言密度（一条用例有几个真实断言）、异常分支覆盖率（是否只写了主干路径）、变异测试分数（把代码改坏，用例是否能抓到）。只看数量和通过率会被假绿骗。

**精准测试怎么落地？**
从"这条用例能定位到哪一类改动"倒推重排回归集，并把历史缺陷与模块、链路的对应关系连起来。先有定位关系，才谈得上按改动面裁剪回归。

>本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。


MIT CSAIL 让大模型直接读写神经网络权重，不重训、不用梯度，就把数学成绩从 7.9% 提到 48.1%。本文从 AI 测试视角拆三件事：不运行也能审计、最小改动胜过全量重跑、修掉障碍不等于补上能力，以及测试工程师下一步该往哪一级走。

AI测试新趋势：模型权重可被改写，测试人盯住3件事

人工智能

测试

职业发展

不运行模型、不重训，直接读写权重可将数学成绩从7.9%提至48.1%。测试核心转向静态审计、精准定位与缺陷分诊，修障碍不等于补能力上限。工程师应聚焦口径设计与证据链交付，避免押注早期技术叙事。

深度学习

安全审计

软件测试

扩散模型

Transformer

智能体

Python

Agent

LoRa

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

AI测试新趋势：模型权重可被改写，测试人盯住3件事-腾讯云开发者社区-腾讯云

AI测试新趋势：模型权重可被改写，测试人盯住3件事

AI测试新趋势：模型权重可被改写，测试人盯住3件事

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐