每日论文速递 | Next Token Prediction 陷阱

深度学习自然语言处理 分享 整理：pp

摘要：单纯的下一个next-token predictor能否真正地模拟人类智能？我们将这一文献中支离破碎的直观问题具体化。作为出发点，我们认为必须区别对待下一个标记预测中两个经常被混淆的阶段--自回归推理和教师强迫训练。流行的批评认为，在自回归推理过程中错误可能会加剧，而这一批评的关键在于假设教师强制训练已经学会了准确的下一个标记预测器。这一假设回避了我们所揭示的一个更深层次的问题：在某些任务中，教师强制可能根本无法学习到准确的下一个标记预测器。我们描述了teacher-forcing fail的一般机制，并设计了一个最小规划任务，在这个任务中，Transformer 和 Mamba 架构都以这种方式失败了--令人惊讶的是，尽管这个任务是简单易学的。我们提供的初步证据表明，在训练提前预测多个标记时，这种失败是可以解决的。我们希望这一发现能为未来的争论提供依据，并激发对下一个标记预测范式之外的探索。

https://arxiv.org/abs/2403.06963

Q1: 这篇论文试图解决什么问题？

A：这篇论文探讨了基于下一个标记预测（next-token prediction）的语言模型在模拟人类智能方面的局限性。尽管这类模型在多种任务上取得了显著的成就，但存在一种观点认为，这些模型只是在即兴创作方面表现出色，而无法真正模拟人类的思考过程。论文的核心问题可以概括为：

1. 区分两种预测模式：论文首先区分了下一个标记预测的两个阶段——自回归推理（autoregressive inference）和教师强制训练（teacher-forced training）。作者指出，现有的批评主要集中在自回归推理上，但这些批评假设教师强制训练已经学会了准确的下一个标记预测器。论文挑战了这一假设，认为即使在简单的任务中，教师强制训练也可能无法学习到准确的下一个标记预测器。
2. 教师强制训练的失败机制：论文提出了一种机制，说明在某些任务类别中，教师强制训练可能根本无法学习到准确的下一个标记预测器。作者设计了一个简单的规划任务（例如图路径查找任务），在这个任务中，即使是先进的模型（如Transformer和Mamba架构）也会失败，尽管任务本身对于人类来说是容易学习的。
3. 探索替代训练范式：论文通过实验表明，当训练模型预测多个未来的标记时，可以解决教师强制训练的失败问题。这表明，通过改变训练目标，可以提高模型在规划任务上的性能。

总的来说，论文试图解决的问题是揭示和证明基于下一个标记预测的语言模型在模拟复杂规划任务时的根本局限性，并提出可能的解决方案，以推动未来研究超越当前的下一个标记预测范式。

Q2: 有哪些相关研究？

A：这篇论文提到了与下一个标记预测（next-token prediction）相关的一系列研究，这些研究涉及对这种预测方法的支持和批评，以及探索超越这种范式的可能途径。以下是论文中提及的一些相关研究：

支持下一个标记预测的研究：

一些研究（如Shannon, 1948; 1951）认为语言具有足够的冗余性，适合进行下一个标记预测。

有实证研究表明，现代语言模型在下一个标记预测任务上的表现比人类更好（Shlegeris et al., 2022）。

理论上，有研究（如Merrill & Sabharwal, 2023b; Feng et al., 2023）展示了自回归Transformers在生成思维链（chain of thought）方面具有较大的表达能力。

批评下一个标记预测的研究：

有研究指出，即使在计算资源丰富的情况下，实际模型通常不是完美的下一个标记预测器，而且一旦犯错，就没有明确的回溯机制（Dziri et al., 2023; LeCun, 2024）。

有观点认为，自回归的下一个标记预测器不适合规划任务，因为它们不能模拟人类的思维过程（Momennejad et al., 2023; Valmeekam et al., 2023）。

一些研究强调，为了模拟人类思维，我们需要模拟快速（System 1）和慢速（System 2）思维过程（Kahneman, 2011）。

探索超越下一个标记预测的研究：

有研究提出了在推理时允许模型进行更多思考的技术，如链式思维（chain-of-thought）和模型自我反馈（Wei et al., 2022; Madaan et al., 2023）。

一些研究探讨了非自回归模型（Gu et al., 2018）、基于能量的模型（Dawid & LeCun, 2023）、扩散模型（Gong et al., 2023）等，这些模型在训练时不依赖于下一个标记预测。

教师无监督训练（teacherless training）是一种简单的方法，它通过修改教师强制训练来防止模型学习到错误的策略（Monea et al., 2023）。

这些相关研究为论文的论点提供了背景，并帮助构建了关于下一个标记预测的辩论。论文的作者通过这些相关工作来支持他们的主张，即在某些任务上，当前的下一个标记预测范式可能不足以捕捉人类智能的复杂性，并需要新的训练范式来改进模型的规划和推理能力。

Q3: 论文如何解决这个问题？

A：论文通过以下步骤来解决和讨论下一个标记预测（next-token prediction）的问题：

1. 区分预测模式：首先，论文明确区分了自回归推理（autoregressive inference）和教师强制训练（teacher-forced training）两种不同的下一个标记预测模式，并指出现有的批评主要集中在自回归推理上，而忽略了教师强制训练可能存在的问题。

1. 提出失败机制：论文提出了一种教师强制训练可能失败的机制。具体来说，论文指出在某些任务中，教师强制训练可能导致模型学会利用输入中揭示的部分正确答案来“作弊”（Clever Hans cheat），而无法学习到如何从问题本身推导出答案的能力。这导致模型在没有完整答案提示的情况下无法准确预测序列中的早期标记（Indecipherable Token）。
2. 设计实验验证：为了验证上述机制，论文设计了一个简单的图路径查找任务，作为展望任务（lookahead task）的一个示例。在这个任务中，模型需要规划以找到从起点到终点的路径。论文通过实验表明，即使是先进的模型（如Transformer和Mamba架构）在这个任务上也会失败，尽管任务本身对于人类来说是容易学习的。
3. 探索替代训练范式：论文探索了一种替代的训练范式，即教师无监督训练（teacherless training），其中模型在训练时不再接收揭示的答案作为输入，而是只接收无关的输入。这种方法可以防止模型学会Clever Hans作弊，迫使模型学习如何从图的描述中预测整个路径。实验结果表明，在某些情况下，这种训练范式可以提高模型在规划任务上的性能。
4. 讨论未来方向：论文最后讨论了这些发现对未来研究的启示，提出我们需要探索超越下一个标记预测范式的新训练范式，以更好地模拟人类的规划和推理能力。

总的来说，论文通过理论分析、设计实验验证和提出可能的解决方案，来解决和讨论下一个标记预测在模拟人类智能方面的局限性。论文的目的是激发未来的研究，开发出能够更好地进行规划和推理的模型。

Q4: 论文做了哪些实验？

A：论文进行了一系列实验来验证其关于下一个标记预测（next-token prediction）的主张和假设。以下是论文中进行的主要实验：

路径查找任务设计：作者设计了一个基于图的路径查找任务，称为“path-star”图任务。在这个任务中，模型需要从给定的起点（start node）找到目标节点（goal node）的路径。这个任务被设计为一个简单的展望任务（lookahead task），要求模型隐式地提前规划后面的标记。

教师强制训练的失败：作者通过实验展示了标准的教师强制训练（teacher-forcing）在路径查找任务上的失败。即使在训练数据上达到了完美的准确率，模型在测试数据上的准确率仍然很低，这表明模型没有学习到如何从图的描述中规划路径。

Clever Hans作弊验证：为了验证模型是否学会了Clever Hans作弊，作者设计了一个实验，通过给模型提供随机的邻居节点作为输入，来测试模型是否会沿着错误路径进行预测。实验结果表明，模型确实学会了这种作弊策略。

教师无监督训练（teacherless training）：作者尝试了一种不使用教师强制训练的训练范式，即教师无监督训练。在这种范式下，模型在训练时不再接收揭示的答案作为输入，而是只接收无关的输入。实验结果显示，在某些简单的图上，这种训练范式能够使模型成功学习路径查找任务。

路径反转训练：为了进一步验证教师强制训练的局限性，作者尝试了路径反转训练，即训练模型预测路径的反转序列。这种训练方式简化了任务，因为从终点到起点的路径是唯一的。实验结果表明，这种训练方式显著提高了模型的学习能力。

详细准确性分析：作者还提供了更详细的准确性分析，包括对不同模型（如GPT-Mini、GPT-2 Large和Mamba）在不同图拓扑结构上的准确性进行比较。

这些实验旨在展示标准教师强制训练在需要前瞻性规划的任务上的局限性，并探索可能的解决方案。通过这些实验，论文提供了对下一个标记预测范式在模拟人类智能方面的深刻见解。

Q5: 有什么可以进一步探索的点？

A：论文提出的发现和实验结果为未来的研究提供了多个可以进一步探索的点：

更复杂的规划任务：论文中的路径查找任务是一个简化的模型，用于展示教师强制训练的问题。未来的研究可以探索更复杂的规划任务，如故事生成、对话系统和决策制定，来进一步验证教师强制训练的局限性。

不同模型架构：论文中使用了Transformer和Mamba架构作为例子。研究可以在更广泛的模型架构上进行，包括大型语言模型如GPT-3和BERT，以及其他类型的循环和卷积神经网络。

训练范式的改进：论文提出了教师无监督训练作为一种可能的解决方案。未来的研究可以探索其他训练范式，例如引入显式的规划和回溯机制，或者结合强化学习来优化长期规划。

理论分析：尽管论文提供了实验证据，但仍缺乏对教师强制训练失败机制的正式证明。未来的研究可以从理论角度更深入地分析这些问题，并探索可能的解决方案。

数据集和评估指标：为了更好地评估模型的规划能力，未来的研究可以开发专门设计的数据集和评估指标，这些数据集和指标应该能够捕捉到模型在处理需要前瞻性规划的任务时的性能。

人类与AI的比较：论文提到了人类在规划和解决问题方面的能力。未来的研究可以更深入地比较人类和AI在这些任务上的表现，以及如何从人类的认知过程中提取洞见来改进AI模型。

实际应用：研究可以探索在实际应用中如何应用这些发现，例如在自然语言处理、机器人技术和自动化决策制定等领域。

社会影响：论文的结论可能会对依赖于语言模型的现代AI系统产生影响。未来的研究可以考虑这些发现对社会、伦理和政策问题的潜在影响。

这些探索点为未来的研究提供了丰富的方向，旨在提高AI模型的规划、推理和决策能力，以及更好地理解和改进当前的下一个标记预测范式。

Q6: 总结一下论文的主要内容？

A：这篇论文的主要内容可以总结如下：

问题提出：论文指出，尽管下一个标记预测模型在许多任务上取得了成功，但存在一种观点认为这些模型在本质上缺乏真正的规划能力，尤其是在需要前瞻性思考的复杂任务中。

预测模式区分：论文区分了自回归推理和教师强制训练两种下一个标记预测模式，并强调现有批评主要针对自回归推理，而忽略了教师强制训练可能存在的问题。

教师强制训练的失败：论文提出了教师强制训练可能失败的机制，特别是在需要展望未来标记的“展望任务”中。在这些任务中，教师强制训练可能导致模型学会利用部分正确答案作为提示来预测下一个标记，而不是学习如何从问题本身推导出答案。

实验验证：通过设计一个简单的图路径查找任务，论文实证展示了即使在这种简单任务中，先进的模型（如Transformer和Mamba架构）也会因教师强制训练而失败。

替代训练范式：论文探索了教师无监督训练（teacherless training）作为一种可能的解决方案，其中模型在训练时不再接收揭示的答案作为输入。实验结果表明，这种方法在某些情况下可以提高模型在规划任务上的性能。

未来研究方向：论文最后讨论了这些发现对未来研究的启示，提出需要探索超越下一个标记预测范式的新训练范式，以更好地模拟人类的规划和推理能力。

总的来说，这篇论文通过理论分析和实验验证，质疑了下一个标记预测在模拟复杂规划任务时的有效性，并提出了未来研究的方向，以开发能够更好地进行规划和推理的AI模型。

以上内容均由KimiChat生成，深入了解论文内容仍需精读论文