ChatGPT是如何工作的？ChatGPT团队给出的解释

ChatGPT 如何运作？

对于我们这些过去几年没有从头开始构建 ChatGPT 的人来说，它是如何工作的？

当您向 ChatGPT 询问问题时，会发生以下几个步骤：

• 输入： 我们从文本输入中获取您的文本。
• 代币化： 我们将其分成令牌。一个令牌大致映射到几个 unicode 字符。你可以把它想象成一个词。
• 创建嵌入： 我们将每个标记转换为数字向量。这些称为嵌入。
• 将嵌入乘以模型权重： 然后，我们将这些嵌入乘以数千亿的模型权重。
• 对预测进行采样： 在此乘法结束时，数字向量表示下一个最可能的标记的概率。下一个最有可能的标记是从 ChatGPT 中吐出的接下来的几个字符。

让我们想象一下这些步骤。前两个很简单：

当您向 ChatGPT 提问时会发生什么情况的步骤 1 和 2

请注意，标记化并不一定意味着将文本拆分为单词，标记也可以是单词的子集。

嵌入 是大型语言模型 (LLM) 的核心，我们在下一步中从标记创建它们：

当您向 ChatGPT 提问时发生的情况的第 3 步 。嵌入将标记表示为向量。上述嵌入中的值是示例

嵌入是令牌的多维表示。我们明确地训练 我们的一些模型 ，以明确地允许捕获单词或短语之间的语义和关系。例如，“狗”和“小狗”的嵌入在多个维度上比“狗”和“计算机”的嵌入更接近。这些多维嵌入可以帮助机器更有效地理解人类语言。

模型权重 用于计算加权嵌入矩阵，该矩阵用于预测下一个可能的标记。对于这一步，我们需要使用 OpenAI 的权重矩阵（它由数千亿个权重组成），并将其乘以我们根据嵌入构建的矩阵。这是一个计算密集型乘法。

在我们进行数十亿次乘法之后，对预测进行采样 。最终向量表示下一个最可能的标记的概率。抽样是指我们选择下一个最有可能的令牌并将其发送回用户。 ChatGPT 吐出的每个单词都是同样的过程，每秒重复多次。

步骤 5. 我们最终得到下一个最可能的标记（大约是一个单词）的概率。我们 根据预先训练的数据、提示和迄今为止生成的文本对下一个最可能的单词进行采样。图片来源： ChatGPT 正在做什么以及它为何有效？

预训练和推理

我们如何生成这组复杂的模型权重，其值编码了大部分人类知识？我们通过一个称为 预训练的过程来做到这一点。目标是建立一个模型，可以预测互联网上所有单词的下一个标记（您可以将其视为一个单词）。

在预训练过程中，权重通过梯度下降逐渐更新 ，这是一种数学优化方法。梯度下降的一个类比是一个徒步旅行者被困在山上，他试图下山。然而，由于大雾，他们无法看到整座山的全景，这将他们的视野限制在周围的一小部分区域。梯度下降意味着从徒步旅行者当前位置开始观察斜坡的陡度，然后朝最陡下降的方向前进。我们可以假设通过简单的观察，陡度并不明显，但幸运的是，这位徒步旅行者有一个测量陡度的仪器。然而，进行一次测量需要时间，而且他们希望在日落之前下山。因此，这位徒步旅行者需要决定停下来测量陡度的频率，这样他们仍然可以在日落之前下山。

一旦我们有了模型，我们就可以对其进行 推理 ，也就是当我们用文本提示模型时。例如，提示可以是：“为务实工程师写一篇客座文章。”然后，此提示要求模型 预测下一个最可能的标记（单词）。它根据过去的输入进行预测，并且它会不断地重复发生，一个词接一个词，一个词一个词，直到它吐出你想要的内容！

ChatGPT 的工作原理并不神奇，值得理解。 和大多数人一样，我对尝试 ChatGPT 的第一反应是它感觉很 神奇。我输入问题并得到答案，感觉就像来自人类！ ChatGPT 与人类语言的配合非常好，并且能够获取比任何人能够处理的更多的信息。它也擅长解决与编程相关的问题，有一次我质疑 ChatGPT 是否 比人类更有能力 ，即使是在编程等人类迄今为止做得更好的领域？

要了解 ChatGPT 的局限性，您需要了解它的工作原理。 ChatGPT 和其他法学硕士并不像人类一样“思考”和“理解”。然而，ChatGPT 确实会根据下一个最可能的单词、查看输入以及迄今为止生成的所有内容来生成单词。