ChatGPT 如何一本正经地胡说八道？｜图文

在 ChatGPT 刚发布没几天的时候，我们就迫不及待地想考考它：

它给出的答案让我们沉默了一会，因为它基本上总结了我们这一期视频的内容。而且字通句顺，言简意赅。甚至当你追问的时候，它还能给你列出个 1 2 3 条来。而且这个 1 2 3 也跟我们写的差不多......

随着进一步的探索，我们发现它还能帮你改 bug，做翻译，算数学题，写心灵鸡汤和垃圾小说......这是我们第一次见到如此能说会道的 AI 模型，像所有用户一样，我们感受到了一些小小的震撼。

但再往下玩，我们又发现它好像......会不懂装懂。比如当我们问它《资治通鉴》的第一句话是什么意思时，它给出了这样一个回答：

不懂古文的人，也许会被看起来如此有道理的解释蒙骗过去。但实际上，这是 ChatGPT 在一本正经地胡说八道，跟正确答案毫无关系。

所以，ChatGPT是怎么变成“懂王”的？它会取代搜索引擎，甚至取代你吗？

视频版

看完这个视频就知道了

信我，真的超级好看 

图文版

如果直接问 ChatGPT ，它会自称是一个“语言模型”。没错，更准确地说，ChatGPT 是一种“大语言模型（Large Language Models）”，简称 LLM。

什么是“大语言模型”呢？ 再问问它。

大语言模型能通过使用大量的文本数据来学习语言和文化背景。它们可以被用于生成文本，回答问题，翻译，情感分析等各种任务。还有这个回答里没有提到的一点是，大语言模型的参数更多。

所以 ChatGPT，并不是电影里那种什么都会的，高级的“通用人工智能”。其实直到目前，不管是下围棋的AlphaGo，还是画画的 DALL·E 2，都只是专精于某个具体领域的 AI 模型。ChatGPT 也不例外，只是它专精的领域恰好是“语言”，所以格外能说会道，就像是一个无所不知的“懂王”在跟你聊天。但实际上，它并没有任何“智力”。

由于它是一个擅长语言表达的 AI 模型，所以无论你问什么，它都能给出一个流畅的回答——请注意，这个答案不一定是对的，但语言基本是流畅的，它的文本组织能力确实比很多真人都强。

不过“语言模型”并不是什么新鲜玩意儿。为什么 ChatGPT 现在突然变得这么强，这么能说会道了呢？

我们会尽量用最简单的语言来解释这个问题，可能会有一点点硬，但它能让你更好地理解 ChatGPT 的本质，以及它到底会不会取代你。

语言模型的核心，就是要根据上下文背景，预测接下来一连串文字出现的可能性。比如当前文出现这句话的时候，一个训练有素的语言模型，就应该知道后面大概率要补上「狗刨」。

那怎么才能让语言模型学会预测呢？答案是，让它们做“文字接龙”，不要命地做文字接龙。

ChatGPT是GPT3这个模型家族中的一员，这些模型的底层，是 Transformer 架构。

在 Transformer 架构之前，大部分语言模型主要基于 RNN 的架构，但问题是在于一旦文字过长，它就很难再记住前面的信息。另外，RNN 需要按照顺序处理数据，所以处理大型数据集的时候效率相对比较低。

而 Transformer 采用了「自注意力机制」，也就是让模型自己学习应该把重点放在句子里的哪个词上。并且这个机制主要靠一系列的矩阵运算实现， 而矩阵运算很容易在 GPU 中并行计算，所以能让模型更高效地利用海量数据。这也是 GPT 模型比此前的语言模型更强大的地方之一。

在搭好架构之后，GPT 就可以开始用“文字接龙”的方式来训练模型了：也就是在已知上下文的基础上，让模型预测下一个词可能是什么。

2020 年推出的 GPT-3 ，它训练的单词数量已经到了上千亿的量级，参数也达到了惊人的 1750 亿。你可能不理解这些概念，一个粗浅的解释就是：它已经做刷了无数道文字接龙，所以不管你说什么，它都能接着你的话头无穷无尽地说下去......

不过还有一个问题：就是真实世界的文字接龙，是没有标准答案的。

比如这道题，你可以填上“卡塔尔”，也可以填上“亚洲”，甚至“在哪儿？”。那怎么让 GPT 模型知道，人类想要哪个答案呢？

ChatGPT 在官方文档中说，分三步：

第一步是给它提供人类想要的答案作为示范。也就是让标注者（labeler）自己根据数据库中的问题，写下标准答案，然后把问题和标准答案作为数据，交给模型来训练。这个阶段的 GPT 模型，就像一个聪明，但不会写答案的学生，需要老师来点拨一下。

第二步，让微调好的模型根据问题产生一些答案。之前说过，模型输出的是一系列文字的概率分布，所以每次产生的答案都不太一样。人工标注者会给这些答案按照质量排序，信息量大的答案会排在前面。

有了这些数据，我们就可以训练出一个“回报模型”，让它根据问题给答案打分。有了“回报模型”，就能进入到第三阶段：也就是不断重复“提问-生成答案-打分”的过程，并不断优化模型的参数，让生成的答案越来越接近我们想要的回答。

刚才这些，就是 ChatGPT 之所以能这么强的技术原因——因为它已经被训练成了一个无情的文字接龙刷题机器。

不过，AI 领域的竞争和创新都非常激烈，没有任何模型能一直占据统治地位。AI 大牛 Yann LeCun 的说法是，没有人能在这个领域比其他人领先 2-6 个月。Google 已经宣布即将推出的同类产品 Bard，得益于 Google 强大的技术和数据积累，谁更强还真不好说。

当然，你可能不关心哪家的技术更强。只是想知道 ChatGPT，或者跟它类似的 AI 模型，会颠覆传统搜索引擎，甚至取代人吗？

这个问题，还是跟 ChatGPT 的本质，以及它的训练方式有关。

就像刚才说过的那样，ChatGPT 是一个“大语言模型”，它巧妙地消化了海量以英文为主的语料，再凭借娴熟的语言能力，回答你的问题。

在这个过程中，如果训练语料不足或者不准确，就会出现问题。比如目前 ChatGPT 的训练数据只截止到 2021 年底，所以在这之后的知识，它就不知道了。

如果材料本身的丰富度有限，那效果也一般。此时不管你怎么问，ChatGPT 都只能翻来覆去，用不同的话术表达同一个信息，来回说片儿汤话。或者给出严重过时的信息。

更麻烦的是，有时它会给出貌似靠谱，但实际很离谱的回答。尤其是涉及非英文语言的时候，尤为严重。如果用户对这些问题不太清楚，那真可能被它的胡说八道蒙骗过去。跟很多大V一样，ChatGPT 不光应该学会说话，还应该学会闭嘴，和事实核查。

但实话实说，AI 能做到这个程度已经非常强大了，而且足以完成一些人类工作。你也知道，“一本正经地胡说八道”，“翻来覆去说片汤儿话”，就是一些职业的日常工作......

而在语料足够的时候，ChatGPT 对自然语言的理解和运用，比传统搜索引擎更加出色。所以即便你是个小白，也可以用自然语言请教它，让它帮你写程序，写歌词，写邮件，写广告文案......这些功能，是传统搜索引擎无法提供的。

就像 OpenAI 的 CEO 所说的那样，ChatGPT 不会取代搜索引擎，他们想做的是另一种更加好玩的产品形态。

至于会不会取代人......我们自己的感受是，AI 的普及，确实会消灭很多低端工种。比如一个人的工作如果只是写最套话的嘻哈，或者最水的鸡汤，那除非他的工资比 AI 的订阅费还低，否则早晚难逃一劫~

回过头我们自己，如果是在做一分钟科普小视频的话，那已经可以失业了。毕竟 ChatGPT 这种“阅读大量资料，再用普通人能听懂的语言重新组织信息，回答问题”的流程，就是我们的日常工作......

不过，我们倒不太操心这一茬，也不关心“这个AI到底是聪明还是笨”的争论。因为要紧的是，要赶快学会使用这些 AI 工具，让它帮忙提高我们的工作质量——没错，使用 AI 也有门槛。很多愚蠢的答案，根源上是因为提出了不好的问题。

有人浅浅尝试，就觉得它是个傻瓜。但也有人从 0 开始，让 AI 帮它写出了一个能运行的程序。

这时候，就是考验我们会不会善用 AI 作为自己的工具了。也许，结局会像这句话说的一样：“AI 不会让你失业。会用 AI 的人，会让你失业。”