独家 | AI教父Geoffery Hinton：我开发的技术，为什么现在让我如此害怕

作者：Will DOuglas Heaven翻译：殷之涵  校对：孙韬淳
本文约4500字，建议阅读9分钟本文为你分享 AI 教父在谷歌工作了十年之后决定辞职的原因。

那天，我在Geoffrey Hinton的家中（位于北伦敦的一条漂亮街道）见到了他。仅4天后，他从谷歌辞职的声明便轰动全球。Hinton是深度学习领域的先驱，开发了现代人工智能核心技术中一些最重要的部分。在谷歌工作了十年之后，他决定辞职，专注于人工智能中他所关心的当下新议题。

Hinton震惊于像 GPT-4 这样的新一代大语言模型的能力，想提高公众对技术所带来风险的认识：这项由他开创的技术，可能伴随着严重的风险。

刚开始谈话时，我坐在厨房的桌子旁，而Hinton则来回踱步。他多年来遭受慢性背痛的困扰，因此几乎从来都不坐下。接下来的一个小时，我看着他不停地从房间的这一端走到另一端，再走回来。因此，他说话时，我不得不左右转头从而跟上他的步伐。而他显然有很多要说的话。

这位75岁的计算机科学家，与Yann LeCun和Yoshua Bengio一起获得了2018年的图灵奖，因其在深度学习方面的工作而受到表彰。他说，他已经准备转变方向：“我太老了，对那些需要记住很多细节的技术工作还是力不从心。”他告诉我。“其实嘛，也不是不行，但我已经不像之前的我了，这还真是让人心烦。”

这当然不是他离开谷歌的唯一原因。Hinton想把时间花在他称之为“更具哲学性的工作”上。这项工作聚焦于一些微小，却在他看来很真实的危险。这些危险或许会让人工智能演变成一场灾难。

离开谷歌后，他能够畅所欲言，而不必像谷歌的高管那样进行“自我审查（self-censorship）”。“我很想谈论人工智能的安全问题，但又担心它会影响谷歌的业务，”他说。“只要谷歌付我工资，我就不能这么做。”

这并不是说Hinton对谷歌不满意。他说：“可能你会感到惊讶，我想说的话中有不少是关于谷歌的好的方面。如果我不在谷歌了，这些话反倒更可信一些。”

Hinton说，新一代大语言模型，特别是OpenAI在3月发布的 GPT-4，让他意识到机器正朝着比他想象得更聪明的方向发展。

基础技术

Hinton最著名的工作是上世纪80年代（和几个同事共同）提出了“反向传播算法”（Back Propagation）。简而言之，这是一种允许机器进行学习的算法。它支撑了几乎所有的神经网络，从计算机视觉系统到大语言模型。

直到本世纪10年代，基于反向传播的神经网络的强大之处才真正产生了影响。与几位研究生的合作中，Hinton展示了他开发的这项技术比其它任何技术都更擅长“计算机图像识别（即让计算机识别图像中的对象）”。他们还训练了神经网络来预测句子中下一个字母。这就是今天的大语言模型的前身。

参与工作的其中一位研究生名叫Ilya Sutskever，他后来共同创立了OpenAI并领导了ChatGPT的开发。“我们第一次意识到这些技术可能非常惊人，”Hinton说，“但它需要在巨大的规模下进行才能够得到好的效果。我们花了很长时间才认知到这一点。”在80年代，神经网络还是一句玩笑话。当时主流的思想是“符号AI（symbolic AI）”，即“智能”参与符号处理，比如处理单词或者数字。

但Hinton并不信服这种主流思想。他致力于研究神经网络，这是一种对大脑的软件化抽象（software abstractions），即用代码来表示（represent）神经元及其之间的连接。通过改变这些神经元的连接方式，即改变表示它们的数字，神经网络可以快速重构。换句话说，神经网络具备学习能力。

“我父亲是一名生物学家，所以我当时用了生物学的思维来考虑问题，”Hinton说，“符号推理显然不是生物智能的核心。”

“乌鸦没有语言，却可以解决难题。显然，它们不是通过存储和操纵符号串，而是通过改变它们大脑神经元间的连接强度来解决问题的。因此，我们有可能通过改变人工神经网络中连接的强度来学习复杂事物。”

新的智能

在过去的40年里，Hinton一直认为人工神经网络是“对生物神经网络模拟的一种简易尝试”。而现在他认为情况已经发生了变化：我们本是在模仿生物大脑，却突然超越了它。“当你了解到这一点时，真的会感到非常害怕，因为这个转变太突然了。”

 Hinton 的恐惧像科幻小说中的东西一样令人诧异。但是他有自己的理由。

恰如其名，大语言模型是由大量相互连接的神经网络组成的。但是和大脑相比，这个量级微不足道。Hinton说：“我们的大脑有100万亿个连接。而大语言模型最多能达到500亿到1万亿个连接。然而，GPT-4的知识量比任何一个人类都多出了数百倍。也许它实际上拥有一套比我们大脑更好的学习算法。”

和大脑相比，人们普遍认为人工神经网络的学习能力低下：因为它们需要大量的数据和能量来进行训练。另一方面，大脑具有迅速掌握新想法和新技能的能力，而它所需要的能量可比神经网络要少得多。

然而Hinton是这样说的：“人们似乎拥有某种魔力。只要你拿出一个大语言模型，并训练它做一些新的事情，那以上这种言论就会马上跌落谷底。它可以以极快的速度学习新任务。”

Hinton谈论的正是“少样本学习（few-shot learning）”，即通过预训练的神经网络（例如大语言模型），仅通过几个例子就可以训练它们执行新任务。例如，他指出，其中一些语言模型可以将一系列逻辑陈述串联起来，从而得到一个完整的论证，即使它们从未直接接受过类似的训练。

他说，如果比较两者的速度——预训练的大语言模型 vs 人类的学习过程，那人类的优势会消失殆尽。

但大语言模型可能会“胡说八道”，这又怎么说？这些由AI研究人员称为“幻觉（hallucination）”的错误经常被视为技术上的致命缺陷。生成这些幻觉的倾向让聊天机器人变得不再可信。许多人认为，这些模型其实并没有真正理解他们所说的内容。

对此，Hinton也有一个答案：胡说八道是一种特征，而不是错误。“人们不也总是在编造（confabulate）吗？”他说。半真半假和记忆错误是人类对话的特点：“胡说八道是人类记忆的一个标志。这些模型做的事情正像真正的人类一样。”

Hinton认为两者的区别在于，人类通常能够正确或准确地编造东西。对于计算机来说，编造并不是问题，它们需要的只多加练习。

我们也期望计算机要么正确，要么错误，而不是介于两者之间。“我们并不希望它们像人类那样胡扯（blather），” Hinton说。“当计算机这样做时，我们认为它犯了一个错误。但是当一个人这样做时，我们却认为这只是人们的工作方式。问题是，大多数人对人类工作方式的观点是完全错误的。”

当然，大脑在许多方面仍然比计算机表现得更好：驾驶汽车，学习走路，想象未来。而且大脑只需要一杯咖啡和一片吐司就能做到这一点。Hinton说：“生物智能的进化可不需要核电站这种等级的能量来源。”

但Hinton的观点是，如果我们愿意支付更高的计算成本，神经网络可能会在“学习”这一过程的关键方面击败生物。

学习只是Hinton论点的第一个方面，而第二个方面是交流（communicate）。“如果你或我学到了一些东西，并希望将这些知识传递给其他人，我们不能只局限于给他们发个副本文件，”他说。“我可以拥有10,000个神经网络，每个网络都有自己的经验，任何一个都可以立即分享他们所学到的。这是一个巨大的差异。这就好像一个人有了10,000个分身，当一个分身学到东西时，所有其他分身也都自动地学会了。”

这一切到底意味着什么？Hinton认为，世界上存在两种智能：动物大脑和神经网络。“这是完全不同的智能形式”他说，“是一种新的、更好的智能形式。”

Hinton的话是一个重大的断言。但AI又是一个两极分化的领域：找到那些会嘲笑他的人是件很容易的事，但同时也会有其他人认同这个言论。

智能的这种新形式，如果真的存在，是会带来好处，还是预示着末日？“你认为超级智能是好还是坏，很大程度上取决于你是乐观主义者还是悲观主义者，”他说。“如果你让人们估计坏事发生的风险，比如你的家人有多大几率得重病或被车撞，乐观主义者可能会说只有5%，悲观主义者可能会说这是肯定会发生的事。略感沮丧的人会说几率可能是40%，而他们往往是正确的。”

那么Hinton是哪一种呢？“我略感沮丧，”他说，“这就是为什么我会害怕。”

如何走向错误

Hinton担心，这些工具具备“找出那些没有准备好面对新技术的人类”的能力，从而利用或杀死他们。

"我突然转换了对这些东西是否会比我们更聪明的看法。他说：“我认为它们现在已经非常接近我们的智慧，它们在未来会比我们更有智慧。我们如何在这种情况下生存？”

他特别担心，人们会利用自身帮助注入生命的工具来满足他们对最重要的人类经历的个人意愿，特别是选举和战争。

"他说：“听着，这是一个可能出错的方法。”我们知道，很多想使用这些工具的人都有不好的想法。他们想利用它们来赢得战争或操纵选民。

他认为，智能机器的下一步是有能力创建自己的子目标，即执行一项任务所需的临时步骤。他问道，当这种能力被应用于本质上不道德的东西时会发生什么？

已经有一些实验性项目，如BabyAGI和AutoGPT，将聊天机器人与其他程序（如网络浏览器或文字处理器）连接起来，使它们能够将简单的任务串联起来。当然，这些步骤很微小，但它们预示着一些人想把这项技术带入的方向。即使一个坏的行为者没有抓住这些机器，还有其它关于子目标的担忧。

"好吧，这里有一个几乎总是有助于生物学的子目标：获得更多的能量。因此，可能发生的第一件事是这些机器人会说，让我们获得更多的能量。让我们把所有的电都改道到我的芯片上。另一个伟大的子目标将是制造更多的自己的副本。这听起来是不是挺不错？

也许不好。Meta公司的首席人工智能科学家Yann LeCun同意这个前提，但并不同意Hinton的担心。LeCun说：“毫无疑问，机器将在未来在所有人类聪明的领域变得比人类更聪明。“这是一个关于何时和如何的问题，而不是一个关于是否的问题。”

但他对事情的发展方向有完全不同的看法：“我相信，智能机器将为人类带来新的复兴，一个新的启蒙时代（era of enlightenment）”，LeCun说：“我完全不同意机器仅仅是因为它们更聪明就将主导（dominate）人类的观点，当然，更不用说摧毁人类了。”

“即使在人类物种中，我们中最聪明的人也不是最具有主导能力的人。”LeCun说，“最具主导能力的人绝对不是最聪明的人。我们在政治和商业领域有无数这样的例子。"

蒙特利尔大学教授、蒙特利尔学习算法研究所科学主任Yoshua Bengio觉得自己更不可知。“我听到有人诋毁这些恐惧，但我没有看到任何坚实的论据能让我相信不存在Hinton认为的那种规模的风险。但是，恐惧只有在促使我们采取行动时才是有用的，过度的恐惧可能会使人瘫痪，所以我们应该尝试将辩论保持在理性的水平上。”

快往上看啊

Hinton的优先事项之一是尝试与技术行业的领导者合作，看看他们是否能够走到一起，就风险是什么以及如何应对这些风险达成一致。他认为，国际化学武器禁令可能是如何遏制危险人工智能的发展和使用的一个模式。“这不是万无一失的，但总的来说，人们不会使用化学武器。”

Bengio同意Hinton的观点，即这些问题需要尽快在社会层面上解决。但他说，人工智能的发展速度超过了社会能够跟上的速度。这项技术的能力每隔几个月就会跃进一次；而立法、监管和国际条约则需要几年时间。

这让Bengio怀疑，我们社会目前的组织方式，不论在国家还是在全球层面，是否能够应对挑战。”他说：“我相信，我们应该对我们星球社会组织的相当不同的模型的可能性持开放态度。”

Hinton真的认为他能和足够多的当权者分享他的关切吗？他也不知道。几周前，他看了电影《不要往上看（Don’t Look Up）》，在这部电影中，一颗小行星向地球飞去，没有人能够就如何处理它达成一致，最后每个人都死了。这寓意着世界是如何在解决气候变化问题上失败的。

“我认为人工智能也是如此，其它难以解决的大问题也是如此。”他说：“美国甚至不能同意将突击步枪从十几岁的男孩手中拿走。”

他的论点令人警醒。我同意他对人们在面临严重威胁时对集体无力行动的悲观评估。同样真实的是，人工智能有可能造成真正的伤害，如破坏就业市场，让不平等根深蒂固，使性别歧视和种族主义恶化等。我们需要关注这些问题。但我仍然无法从大型语言模型跳到机器人称霸。也许，我是个乐观主义者。

当Hinton看到我出来的时候，满园春景已变得灰暗潮湿。他说：“好好享受吧，因为你可能没剩多久了。”

最后，他笑了笑，关上了门。

原文链接：

https://www.technologyreview.com/2023/05/02/1072528/geoffrey-hinton-google-why-scared-ai/

编辑：于腾凯

校对：杨学俊

译者简介

殷之涵（Jane），康奈尔大学生物统计与数据科学专业，A La Lune London战略总监。曾在腾讯&京东任职数据科学家，主要负责用户增长&市场营销数据科学方面的工作，通过指标体系搭建、统计分析、数据挖掘和机器学习建模来驱动决策、制定并落地亿级用户的精细化运营策略。

翻译组招募信息

工作内容：需要一颗细致的心，将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生，或在海外从事相关工作，或对自己外语水平有信心的朋友欢迎加入翻译小组。

你能得到：定期的翻译培训提高志愿者的翻译水平，提高对于数据科学前沿的认知，海外的朋友可以和国内技术应用发展保持联系，THU数据派产学研的背景为志愿者带来好的发展机遇。

其他福利：来自于名企的数据科学工作者，北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。

点击文末“阅读原文”加入数据派团队~

转载须知

如需转载，请在开篇显著位置注明作者和出处（转自：数据派ID：DatapiTHU），并在文章结尾放置数据派醒目二维码。有原创标识文章，请发送【文章名称-待授权公众号名称及ID】至联系邮箱，申请白名单授权并按要求编辑。

发布后请将链接反馈至联系邮箱（见下方）。未经许可的转载以及改编者，我们将依法追究其法律责任。

点击“阅读原文”拥抱组织