OpenAI科学家Andrej Karpathy观点：大模型幻觉是特点，不是缺陷

安德烈·卡帕西（Andrej Karpathy），生于1986年10月23日，是一位斯洛伐克裔加拿大计算机科学家，曾担任特斯拉人工智能和Autopilot Vision总监。他目前在OpenAI工作，专门研究深度学习和计算机视觉。

安德烈·卡帕西（Andrej Karpathy），这位大模型界拥有相当地位的研究员几小时前（2023年12月9日）提出了最新观点：“幻觉不是大语言模型的问题，而应该是大语言模型助手来解决。”

他认为，大语言模型的工作机制就是做梦，所以幻觉是正常现象，他举两个极端的例子，一个是搜索引擎0创新，一个是生成式模型创新。

他提出了一套对大模型环境的全新的理解。

有许多方法可以减轻这些系统中的幻觉-使用。

检索增强生成(RAG）通过上下文学习更牢固地将梦境锚定在真实数据中可能是最常见的方法。

这个问题应该困扰了他好久，写到文末，他抒发了一句感慨，还配上了一个笑脸符号（Okay I feel much better now :)）

“亲爱的数据”认为，安德烈·卡帕西（Andrej Karpathy）意指做大模型的人工智能从业者，可以先不要在这个问题上纠结，继续前进。

他指出，在被问及LLM（大语言模型）中的“幻觉问题”时，他总是感到有些困扰，因为从某种意义上说，幻觉是所有LLM（大语言模型）所做的事情。它们是梦想的机器，我们通过提示来引导它们的梦想。提示开始了梦想，基于LLM（大语言模型）对其训练文档的模糊回忆，大多数时候结果都变得有用。

只有当梦想被认为和事实不符时，我们将其标记为“幻觉”。

“幻觉”看起来像一个错误，但实际上只是LLM（大语言模型）一直在做的事情。与此相反，考虑一下搜索引擎的另一极端。它接受提示并返回与其数据库中最相似的“文档”（其实就是“训练文档”之一），逐字逐句地拿来答案。

你可以说这个搜索引擎有一个“创造力问题”，它永远不会边创新边给你答案，答案都是现成的。一个LLM（大语言模型）是100%在做梦并有幻觉问题，而搜索引擎是0%在做梦并有创造力问题。

总的来说，科学家指出，人们实际上关心的是他们不希望LLM助手（如ChatGPT等产品）产生幻觉。LLM（大语言模型）助手是一个比LLM本身复杂得多的系统，即使LLM（大语言模型）是其中的核心。在这些系统中有许多方法可以减轻幻觉问题，而使用检索增强生成（RAG）更强烈地将梦想锚定在真实数据中，通过上下文学习来进行。多样的样本之间的分歧，反思，验证链，激活的解码不确定性，工具使用等，都是积极而非常有趣的研究领域。

简而言之，安德烈·卡帕西（Andrej Karpathy）认为LLM（大语言模型）本身没有“幻觉问题”，幻觉不是bug，甚至不是缺陷，而是LLM（大语言模型）的最大特点。LLM（大语言模型）助手才存在幻觉问题，需要我们进行修复。

（完）

《我看见了风暴：人工智能基建革命》，作者：谭婧