链式思维的核心原理是什么?为什么能让大模型推理能力显著提升?
1. 核心原理:思维外显与过程监督
- 思维外显机制:传统提示词只关注最终答案,链式思维要求模型显式输出中间推理步骤,将"隐式推理"变为"显式推理"
- 链式依赖:每一步推理依赖前一步的输出,形成逻辑链条,避免跳跃式推理导致的错误累积
- 过程监督:通过监督学习或提示引导,让模型学习"如何思考"而非仅"如何回答"
2. 提升推理能力的机制
- 注意力重分配:显式推理步骤引导模型将注意力集中在关键信息上,减少无关信息干扰
- 错误传播阻断:中间步骤提供检查点,单步小错不会直接导致最终答案错误
- 知识激活:推理过程激活模型内部存储的相关知识片段,提升知识检索的精确度
- 组合泛化:通过中间步骤将复杂问题分解为模型已掌握的简单能力组合
3. 实证效果
- 在 GSM8K 数学推理数据集上,零样本链式思维将 InstructGPT-175B 的准确率从约 10.4% 提升至约 40.7%(Kojima et al., 2022)
- 少样本链式思维将 PaLM-540B 的准确率从约 17.9% 提升至约 57%(Wei et al., 2022)
- 自一致性进一步将准确率提升至约 74.4%(Wang et al., 2022)