ChatGPT到底在做什么？它为什么能做到这些？

▲《这就是ChatGPT》，[美]斯蒂芬·沃尔弗拉姆（Stephen Wolfram）著，WOLFRAM传媒汉化小组译

[前记：ChatGPT是OpenAI开发的人工智能聊天机器人程序，于2022年11月推出，能够自动生成一些表面上看起来像人类写出的文字，迅速在全球引发广泛关注，这一AI热潮延续至今。那么，它是如何做到的呢？又是为何能做到的呢？美国计算机科学、数学和理论物理学家斯蒂芬·沃尔弗拉姆所著的《这就是ChatGPT》一书大致介绍了ChatGPT的内部机理，并探讨了为什么它能很好地生成我们认为是有意义的文本。]

ChatGPT的基本概念在某种程度上相当简单：首先从互联网、书籍等获取人类创造的海量文本样本，然后训练一个神经网络来生成“与之类似”的文本。特别是，它能够从“提示”开始，继续生成“与其训练数据相似的文本”。

正如我们所见，ChatGPT中的神经网络实际上由非常简单的元素组成，尽管有数十亿个。神经网络的基本操作也非常简单，本质上是对于它生成的每个新词（或词的一部分），都将根据目前生成的文本得到的输入依次传递“给其所有元素一次”（没有循环等）。

值得注意和出乎意料的是，这个过程可以成功地产生与互联网、书籍等中的内容“相似”的文本。ChatGPT不仅能产生连贯的人类语言，而且能根据“阅读”过的内容来“循着提示说一些话”。它并不总是能说出“在全局上有意义”（或符合正确计算）的话，因为（如果没有利用Wolfram|Alpha的“计算超能力”）它只是在根据训练材料中的内容“听起来像什么”来说出“听起来正确”的话。

ChatGPT的具体工程非常引人注目。但是，（至少在它能够使用外部工具之前）ChatGPT“仅仅”是从其积累的“传统智慧的统计数据”中提取了一些“连贯的文本线索”。但是，结果的类人程度已经足够令人惊讶了。