大模型哪里出问题、怎么修，这篇可解释性综述一次讲清

机器之心

发布于 2026-01-28 12:09:47

1390

过去几年，机制可解释性（Mechanistic Interpretability）让研究者得以在 Transformer 这一 “黑盒” 里追踪信息如何流动、表征如何形成：从单个神经元到注意力头，再到跨层电路。但在很多场景里，研究者真正关心的不只是 “模型为什么这么答”，还包括 “能不能更稳、更准、更省，更安全”。

正是在这一背景下，来自香港大学、复旦大学、慕尼黑大学、曼切斯特大学、腾讯等机构的研究团队联合发布了 “可实践的机制可解释性”（Actionable Mechanistic Interpretability）综述。文章通过 "Locate, Steer, and Improve" 的三阶段范式，系统梳理了如何将 MI 从 “显微镜” 转化为 “手术刀”，为大模型的对齐、能力增强和效率提升提供了一套具体的方法论。

论文标题：Locate, Steer, and Improve: A Practical Survey of Actionable Mechanistic Interpretability in Large Language Models
论文链接：https://arxiv.org/abs/2601.14004
项目主页：https://github.com/rattlesnakey/Awesome-Actionable-MI-Survey

从 “显微镜” 到 “手术刀” 的范式转移

尽管大语言模型（LLM）近年来在多种任务上展现出了强大的能力，但其内部的运作机制依然在很大程度上不透明，常被视为一个 “黑盒”。围绕如何理解这一黑盒，机制可解释性（Mechanistic Interpretability, MI）逐渐发展为一个重要研究方向。

然而，现有的 MI 研究大多仍停留在 “观察” 层面：例如哪些神经元编码了特定实体、哪些注意力头参与了指代消解、哪些计算电路实现了算术或逻辑功能。但一个更关键的问题仍有待回答 —— 这些机制层面的发现，如何真正转化为模型行为和性能的实际改进？

正是基于这一问题，研究团队撰写了这篇以实践为导向的系统性综述。不同于传统综述侧重于回答 “模型内部有什么”，本文将关注点转向 “可以对模型做什么”，并围绕 "定位->操控->提升" 这一闭环，系统梳理了机制可解释性如何走向可实践的模型改造路径。

1. Locate：像医生一样精准 “定位” 病灶

干预的前提是准确的诊断。文章首先构建了一套系统的可解释对象（Interpretable Objects）定义与分类体系，为后续的机制分析奠定了基础。

微观层面：从传统的神经元（Neuron）到近年来广泛使用的稀疏自编码器特征（SAE Feature）。
宏观层面：涵盖注意力头（Attention Heads）、残差流（Residual Stream）等组件。
诊断工具：梳理了包括因果归因（Causal Attribution）、探针（Probing）、梯度检测（Gradient Detection）等主流定位技术。

2. Steer：面向干预的 “手术” 手段

当关键对象被定位出来之后，对其进行干预便成为可能。这也标志着机制可解释性从 “观察” 迈向 “可实践” 的关键一步。文章将现有的干预手段归纳为三大类：

幅度操控（Amplitude Manipulation）：对目标对象进行置零/缩放/替换（ablation, scaling, patching）等操作，实现 “开关式” 或 “强度式” 控制。
靶向优化（Targeted Optimization）：利用定位到的关键组件进行参数级的微调（如仅微调特定的 Attention Heads），比全量微调更高效、副作用更小。
向量运算（Vector Arithmetic）：在激活空间中加入/移除任务向量或特征向量，实现推理时引导模型行为。