AI 幻觉是模型生成不真实内容的现象,本质是模型在"没学过"的地方强行拟合——它在概率分布中找到了一个"看起来对"但实际上错的路径。过拟合则是模型对训练数据死记硬背,无法泛化到新数据。两者虽然都表现为输出错误,但产生机制完全不同。
传统过拟合发生于预训练或基础训练阶段,核心问题是模型记住了训练数据的噪声。AI 幻觉贯穿模型的整个生命周期——预训练阶段的数据偏差、微调阶段的过拟合或欠拟合、推理阶段的采样不确定性都可能引发幻觉。2025 至 2026 年出现的"对齐过拟合"概念特指在 RLHF 等对齐阶段,模型为追求高奖励分数而机械套用模板、编造细节,这是幻觉的一种特殊诱因。
过拟合模型在新数据上预测准确率低,但在训练数据分布内表现良好。幻觉模型则可能在任何场景下都生成看似合理但实际错误的內容,无论输入是否来自训练分布。欠拟合模型也会产生严重幻觉,因为知识不足只能"编"。
过拟合的缓解主要依靠数据去重、正则化、早停、降低学习率等传统机器学习手段。幻觉的缓解则需要更综合的方案——RAG 提供外部知识锚定,提示词工程约束生成过程,多模型交叉验证增加事实核查层,人类在环确保高风险输出的准确性。