思维链（Chain of Thought，CoT）的显著作用

一、CoT提示在LLM数学推理中表现非凡

根据谷歌研究院 Brain 团队的研究科学家Jason Wei 和 Denny Zhou的研究，CoT在训练大型语言模型LLM和设计Prompt中发挥着显著作用。语言模型通常难以完成的一类任务是算术推理（即解决数学单词问题）。算术推理中的两个基准是MultiArith和GSM8K，它们测试语言模型解决多步数学问题的能力。谷歌研究院 Brain 团队评估了参数范围从422M 到 137B 的LaMDA语言模型集合，以及参数范围从 8B 到 540B 的PaLM 语言模型集合。

对于这两个基准，使用标准prompt会导致相对平坦的比例曲线：增加模型的规模不会显着提高性能（如下所示）。然而，我们发现，当使用CoT提示时，增加模型规模可以提高性能，这大大优于大规模模型的标准prompt。

在数学单词问题的 GSM8K 数据集上，PaLM 在扩展到 540B 参数时表现出卓越的性能。如下表所示，将思维链提示与 540B 参数 PaLM 模型相结合，产生了 58% 的最新技术水平性能，超过了通过微调 GPT- 实现的55% 的现有技术水平。 3 175B 在大型训练集上，然后通过经过专门训练的验证器对潜在解决方案进行排名。此外，关于自洽性的后续工作表明，通过对广泛的生成推理过程集进行多数投票，可以进一步提高思维链提示的性能，从而在 GSM8K 上达到 74% 的准确率。

二、与标准提示的比较

Standard Prompt 通过给出示例问题和答案来提示您生成问题的答案。CoT Prompt 不仅会提示您生成答案，还会提示您通过给出问题和带有中间步骤的答案来生成中间步骤。

[标准提示符]

问：罗杰有5个网球。他又买了两罐网球。一罐装 3 个网球。他现在有多少个网球？

答：答案是 11。

问：饭厅里有 23 个苹果。如果你用 20 个苹果做一个便当，买 6 个苹果，一共有多少个苹果？

◎ 输出

答：答案是 27。(不正确)

[CoT 提示符]

◎ 输入

问：罗杰有 5 个网球。他又买了两罐网球。一罐装 3 个网球。他现在有多少个网球？

答：罗杰有五个网球。2 罐 3 个网球足够 6 个网球。5+6=11。答案是 11。

问：饭厅里有 23 个苹果。如果你用 20 个苹果做一个便当，买 6 个苹果，一共有多少个苹果？

◎ 输出

A：食堂原本有23个苹果。他们用了 20 来做午餐。所以 23-20=3。我又买了 6 个苹果，所以 3+6=9。答案是9。（正确答案）

思维链提示的重要特性：

允许模型将多步问题分解为中间步骤，这意味着可以将额外的计算分配给需要更多推理步骤的问题。

为模型的行为提供一个可解释的窗口，提示它可能如何得出特定答案，并提供调试推理路径错误位置的机会。

可用于数学单词问题、符号操作和常识推理等任务，适用于人类可以通过语言解决的任何任务。

可以很容易地在足够大的现成语言模型中引出，只需将思维序列的例子包含到小样本提示的例子中。

三、在 ChatGPT 交互中使用CoT

思维链CoT过程是一种有用的工具，可以以一种可以产生新见解和想法的方式与 ChatGPT 进行交互。通过遵循思维过程链的步骤，您可以帮助以富有成效和引人入胜的方式引导对话。

1.定义CoT过程：思维链过程就像一个你试图解决的谜题。你从一个清晰而有针对性的问题或提示开始，这就像拼图的第一块。当您使用 ChatGPT 时，您会开始看到拼图的不同部分，您可以将它们连接在一起形成一幅完整的图画。

2. 使用清晰且重点突出的问题或提示来引导对话：清晰且重点突出的问题或提示对于引导对话并确保对话保持在正轨至关重要。这个问题或提示应该足够具体，以便 ChatGPT 能够提供有意义的响应，但又应该足够开放，以鼓励探索和开发新想法。

3. 积极倾听：积极倾听就像仔细检查每一块拼图，寻找可以帮助您将拼图拼在一起的线索。通过积极倾听，您可以提出后续问题来阐明 ChatGPT 的想法，并鼓励它详细说明其回应。

4. 建立联系：建立联系就像把拼图的各个部分拼在一起，形成一幅完整的图画。寻找 ChatGPT 提出的不同想法和观点之间的联系。确定共同的主题或模式，并尝试以有意义的方式将不同的想法联系在一起。这可以帮助您更深入地了解手头的主题，并建立您可能没有考虑过的联系。

通过执行这些步骤，您可以在与 ChatGPT 的交互中应用思维链过程，以创建更具吸引力和更高效的对话。思维过程链可以帮助产生新的见解和想法，从而促进对手头主题的更深入理解，并确保对话保持重点和富有成效。

四、在 ChatGPT 交互中建立联系

在与 ChatGPT 交互时，建立联系是思维过程链的重要组成部分。通过寻找不同想法和观点之间的联系，您可以获得对手头主题的更深入理解，并建立您可能没有考虑过的联系。

要建立联系，一种方法，就是可以尝试识别 ChatGPT 提供的响应中的共同主题或模式。例如，如果 ChatGPT 提供的回复提到创造力的重要性，您可以尝试将该想法与其他与创造力相关的想法联系起来，例如创新、解决问题或艺术。

另一种方法，是在 ChatGPT 提供的响应中寻找相似点或不同点。例如，如果 ChatGPT 提供的回复讨论了锻炼对心理健康的好处，您可以尝试将该想法与其他与心理健康相关的想法联系起来，例如冥想、治疗或药物治疗。您还可以尝试确定锻炼的好处与其他心理健康治疗的好处之间的差异。

举一个具体的例子，假设你正在与 ChatGPT 互动，讨论阅读的好处。ChatGPT 提供了一个回应，其中提到了阅读对精神刺激和减压的好处。要建立联系，您可以尝试将这些想法与与精神刺激和减轻压力相关的其他想法联系起来。例如，可以提及促进精神刺激的其他活动的好处，例如，填字游戏或学习一门新语言。更进一步，还可以将减压的想法与其他减压活动联系起来，例如冥想或瑜伽。

通过在与 ChatGPT 的交互中建立联系，我们可以产生新的见解和想法，有助于扩展您对手头主题的理解。这有助于创建更吸引人、更有成效的对话，并可能给我们带来可能未曾考虑过的新观点和见解。

五、在ChatGPT交互中保持开放和灵活

在与 ChatGPT 交互时，保持开放和灵活是思维过程链的重要组成部分。通过对新的见解和观点持开放态度，您可以促进对手头主题的更深入理解，并产生新的想法和解决方案。

要保持开放和灵活，保持好奇心、提出后续问题并乐于探索新想法非常重要。通过这样做，您可以鼓励 ChatGPT 以更灵活和更有创意的方式处理对话，并有助于产生新的见解和想法，从而促进对手头主题的更深入理解。

要练习在 ChatGPT 交互中保持开放和灵活，请尝试以下练习：

1. 选择您有兴趣使用 ChatGPT 探索的主题或提示。

2. 以开放式问题开始对话，鼓励 ChatGPT 以创造性和灵活的方式探索话题。例如，您可能会问，“有哪些不同的方法可以用来解决这个问题？”

3. 积极聆听 ChatGPT 提供的回复，并提出后续问题以鼓励进一步探索和讨论。例如，您可能会问，“您提到的每种方法的优点和缺点是什么？”

4.寻找ChatGPT呈现的不同想法和观点之间的联系，并尝试以有意义的方式将不同想法联系在一起。例如，我们可以说，“我可以看到如何将您之前提到的方法与您刚才描述的方法相结合，以创建更全面的解决方案。”

通过练习在与 ChatGPT 的交互中保持开放和灵活，您可以产生新的见解和想法，有助于扩展您对手头主题的理解。这有助于创建更吸引人、更有成效的对话，并可能带来您可能未曾考虑过的新观点和见解。

总之，CoT和其他认知科学原理可以成为强大的工具，用于在我们与 ChatGPT 的交互中产生新的见解和想法。通过保持开放和灵活并以好奇和探索的精神进行对话，可以帮助扩展我们对手头主题的理解并产生新的观点和见解。