《生命3.0》作者：在AI基础研究和教育投入上，中国完胜美国

新智元编译

作者：venturebeat.com

翻译：刘小芹

【新智元导读】马克斯·泰格马克是人工智能领域最重要的思想家之一，《生命3.0：在人工智能的时代生而为人》的作者。本文是venturebeat网站对泰格马克的专访，谈论了人工智能面临的挑战，特别是当这些挑战涉及到自主武器和国防系统时，比如最近五角大楼备受争议的Maven项目。

马克斯·泰格马克（Max Tegmark）是一位瑞典裔美国物理学家。他是麻省理工学院的教授，基础问题研究所的科学主任，也是生命未来研究所（FLI）的创始人之一。他发表了200多篇论文，并为宇宙微波背景辐射实验开发了数据分析工具。由于他对宇宙学的贡献，泰格马克被选为美国物理学会会士。

Max Tegmark也是人工智能领域最重要的思想家之一。2015年，Elon Musk向FLI捐赠了1000万美元，以推进对人工智能系统的伦理、法律和经济影响的研究。泰格马克在他的最新著作《生命3.0：在人工智能的时代生而为人》（Life 3.0: Being Human in the Age of Artificial Intelligence）中提出，未来的神经网络可能能够重新设计自己的硬件和内部结构。其后的章节探讨了“超级智能AI”的潜在影响，包括机器与人类的融合、社会结构的改变，以及像仁慈的国王一样监视其创造者的算法。

本文是venturebeat网站对泰格马克的专访，谈论了人工智能面临的挑战，特别是当这些挑战涉及到自主武器和国防系统时，比如最近五角大楼备受争议的Maven项目。

对于超级智能，我们没有灭火器

问：你写过很多关于你认为AI将走向何方的文章，在《生命3.0》中，你列出了超级智能AI最终可能会融入我们的生活的12种不同的方式。我记得其中一个是“1984式”的社会，还有一个是“AI作为征服者”。围绕AI似乎有很多消极的观点，尤其是彼得·泰尔(Peter Thiel)和伊隆·马斯克(Elon Musk)这些思想领袖似的人物，他们坚信AI是一种威胁，认为我们应该认真地思考要怎样实施AI。那么我的问题是：就智能而言，什么是越来越有可能实现的？你认为这些智能需要怎样的形式？你认为人们对AI的担忧是否过头了？

Max Tegmark：人们经常问我是支持还是反对AI，我反问他们，他们是否认为火是一种威胁，他们是支持火还是反对火。然后他们认为这个问题很愚蠢；你当然赞成使用火——赞成用火来取暖——但反对纵火，对吧？火和AI都是一种技术，它们的区别在于，AI，尤其是超级智能，是更强大的技术。

技术不是坏事，技术也不是好事；技术是我们做事能力的放大器。技术越强大，我们就能做得越好，也能做得越糟糕。我很乐观地认为，只要我们在科技日益增长的力量和我们管理科技的日益增加的智慧之间的竞争中获胜，我们就能创造一个真正令人振奋的高科技未来。我想这就是问题所在，因为我们要赢这场比赛的一直以来的策略就是从错误中吸取教训。我们发现了火，搞砸了很多，然后发明了灭火器。因此，有了核武器或超级人工智能等更强大的技术，我们可不希望从错误中吸取教训——最好是第一次就把事情做好。

我个人认为，伊隆·马斯克(Elon Musk)和斯蒂芬·霍金(Stephen Hawking)等人被指责为悲观主义者，这是不对的，因为他们都是相当乐观的人。马斯克之所以多次谈论AI的危险，是因为他考虑的是长远的未来，而不是像普通政治家那样只考虑下一个选举周期的未来。

人们开始意识到如果事情做对了，AI的力量是多么的神奇，但如果把事情搞砸了，AI又将是多么糟糕的力量。人们有时会叫我闭嘴，叫我不要谈论AI的风险了，因为这是危言耸听。但这并不是危言耸听——我们在MIT将其称为“安全工程”（safety engineering）。

NASA在发射阿波罗11号登月计划之前，系统地考虑了所有假如发生故障可能出现的问题。那是危言耸听吗？不是！那正是确保登月成功所需的安全工程。

这就是我所提倡的应对非常强大的AI的策略：想想哪些地方可能出错，如何确保它正常运行。我认为，真正的威胁是自满，是人类拒绝做安全工程，拒绝做计划。

问：是的，我认为你刚才提到的灭火器的类比很恰当。我不确定对于AI，我们是否也有灭火器，对吧?

Tegmark：是的，对于超级智能来说，我们当然没有灭火器。你不会希望明天美俄之间突然爆发核战争，升起成千上万的蘑菇云，然后说“让我们从这个错误中吸取教训吧！”我们最好是提前计划并第一时间避免它出现错误。随着一项技术从岩石演化成核能，生物科技，以及最终，未来演化成极其强大的AI，你就到达了一个不允许犯错的门槛。

对于自主武器，需要画一条红线

问：是的，当然。你是未来生命研究所的联合创始人，去年夏天你发表了一封公开信，许多人工智能和机器人研究人员署名反对自主武器。但不幸的是，我们似乎听到越来越多关于自主武器的消息。最近的一个例子是五角大楼的Project Maven，这个无人机项目在谷歌内外引起了很多争议。很难不去关注自主武器的问题，对吧?

Tegmark：这个问题我是相对乐观的。我有很多同事对此非常悲观，说：“哦，我们要完蛋了。任何可用于军事的技术都将被用于军事，所以放弃吧，让军备竞赛开始吧。”但事实并非如此。生物武器就是一个反例。看看今天的生物学，你主要会将它与什么联系在一起：治疗疾病的新方法还是杀人的新方法？当然是前者。但事情本来不一定会发展成这样。上世纪60年代末，美国和苏联都在储备生物武器，我们原本可能面临一个可怕的未来——但实际上没有。

生物学领域有一条非常明确的红线，超出这条线，人们会认为生物学的应用是糟糕的，他们不想资助那些应用，也不想研究它们。我乐观的愿景是，对于AI完全可以采用同样的做法，10年后，将会有一项国际协议禁止某些类型的攻击性致命武器，人们会认为AI在世界上是积极的力量，而不是主要是可怕的、恐怖主义集团的暗杀工具。

但是，和生物学一样，这并不是一个必然的结论。这将需要大量的努力，而这正是你现在所看到的大量争议。你看到很多AI研究人员，包括谷歌公司里针对Project Maven签名的那些人，说他们想要画一条红线。现在这是一场非常激烈的辩论。目前还不清楚争论将走向何方，但我很乐观地认为，我们可以把它推向生物学走过的正确方向。悲观的说法认为我们总是厄运临头，无法阻止这种滥用，这是不正确的。

问：你在公开信中提到，即使签署了国际条约，美国和中国等国家对AI的恰当和不恰当的使用达成共识，但这些工具也有可能落入不那么谨慎的领导人手中。例如，看看阿萨德政权统治下的叙利亚的生物武器。这是一个不得不冒的风险，还是我们可以做些什么来阻止它的发生?

Tegmark：我认为我们可以做很多事情来阻止它。就生物武器来说，它们实际上造价很低，但事实是我们还没有遭受任何生物武器的攻击，对吧？这并不是因为不可能，真正关键的是它的污名本身。人们认为研发生物武器很恶心，他们不想在这上面工作，更别说得到风险投资的资金。叙利亚的阿萨德得到了生物武器，并使用了它们，的确，但是他的污名是如此强烈，厌恶是如此强烈，他甚至自愿放弃了一堆生物武器，只为了不被入侵。

结果，是的，有人被化学武器杀死了，但是被化学武器杀死的人比遭遇车祸或医疗失误而死的人要少得多——你知道，车祸和医疗是AI可以解决的事情。所以，总的来说，我们在这些化学武器上的处境要比假如当初大家认为“好吧，这是一项人权，每个人都可以拥有生物武器，就像在美国每个人都可以拥有枪支一样。”要好得多。

致命的自主武器将会很便宜，但单打独斗式制造自主武器并将其出售给别人和超级大国之间进行自主武器军备竞赛有着巨大的区别。一旦这些武器像常规武器一样被大量生产出来，朝鲜、ISIS、博科圣地(Boko Haram)都有了，它们就会像洪水猛兽一样席卷世界各地的黑市。到那时，我们就完蛋了，它们就像卡拉什尼科夫冲锋枪，你绝对不可能阻止恐怖分子拥有这些武器。

但如果它永远不能达到大规模生产的阶段，那么它将仍然只是一件令人讨厌的事情，因此AI作为一个整体将被视为积极的事情。我确实认为这是非常可行的，而且确实是会发生的。但在自主武器变得非常便宜之前，必须很快地采取措施，因为军备竞赛一旦开始，它们就会自己获得动力。

AI专家的基本观点是，应该在某个地方划一条界线。但另一方面，AI在军事中有很多用途，有些人认为这很好，例如以色列的“铁穹”导弹防御系统。目前还不清楚这条线应该画在哪里，但这就是谈判的目的。第一步是召集所有的专家，包括外交官和政治家们一起，弄清楚在哪里画线。许多公司和政府已经开始支持这个想法。

AI偏见：是可以预防的问题

问：换个话题，最近有很多关于AI偏见的讨论。你认为这是一个大问题吗，还是认为这不是一个AI问题，而是一个数据问题？一些研究人员认为，我们只是缺乏合适的数据——我们在有限的数据集上训练算法，导致了结果被扭曲。

Tegmark：我的看法是，如果你拥有一项技术，光拥有这项技术是不够的。你必须要明智地使用它。例如，如果这项技术是一个决定谁会被判刑，谁不会的AI，那么就要了解你拥有的数据类型，并且去充分地了解系统内部如何运作。看看在美国被广泛部署的Compas系统，它是一个黑盒子，用户通常都不知道它是如何工作的。（译注：Compas是Northpointe公司设计的一个风险评估系统，被美国司法机构用于评估犯人再次犯罪的风险。）结果他们惊讶地发现这个系统可能带有种族偏见。这是另一个例子，说明为什么我们应该主动并提前考虑可能出现的问题。

对那些认真思考过这些问题的人来说，这并不令人惊讶。这是一个可以预防的问题。

如果不投资于教育，基本上就已经在这场竞争中失败了

问：我将以最后一个大问题结束。我们谈到不同国家都在AI领域投入大量资金，都想打造“人工智能创新中心”，尤其在中国很流行这种说法。印度的莫迪政府也提出了很多AI相关的措施，不仅关于国防系统和武器，而且印度在某种意义上想打造下一个AI硅谷。作为密切关注这个问题的人，你认为哪个国家将在这上面取得进展？请你预测一下未来20年甚至50年后的情况会是什么样子。

Tegmark：对我来说，最有趣的一个问题不是它会变成什么样子，而是我们应该做些什么来使它看起来更好。很显然，美国和中国是人工智能的两个超级大国，尽管在英国谷歌DeepMind在做一些有趣的事情……

问：还有加拿大，对吧？

Tegmark：加拿大有一些很棒的事情。但如果你比较中国、加拿大和其他国家，你会发现美国是人均在基础计算机科学教育上投资最少的国家，而比如说中国，投资非常大。美国在军事上的投资得到了很多宣传，但投资基础教育真的很重要。你知道为什么美国是当今科技行业的领导者吗？为什么硅谷在加州而不是在比利时？这是因为在60年代，在太空竞赛中，美国政府在基础STEM教育上投入了大量的资金，这造就了整整一代充满激情的年轻美国人，是他们后来创立了科技公司。

AlphaGo和Alpha Zero在围棋上的胜利对中国来说是第一个重要时刻：他们意识到必须在人工智能基础教育和研究上投入巨资。在美国，我觉得我们太过自满，我们正在固步自封。如果你看看美国政府对美国国家科学基金会的投入，与中国的投资相比，这是非常不合理的。如果我们不投资于教育，基本上就已经在这场竞争中失败了。

你不能只给波音这类的公司一堆合同。你需要打造一个有才华的劳动力队伍。在美国甚至还没有科学顾问，并且一年多来都没有任命一个。我们未来能为美国科技提供什么样的领导力，取决于我们今天在学生身上投资多少。有很多经济研究表明，对于未来的经济你能做出的最好的投资就是投资于这类研究。

如果我们在AI领域做对了，就将有一个前所未有的机会能帮助人类繁荣昌盛，这就是我们真正值得为之奋斗的原因。今天，世界上的每一个问题都可以用更好的技术来解决。而AI是其中的关键部分。

注：

《生命3.0》英文版一经出版迅速登顶美国亚马逊科技类图书排行榜榜首，受到埃隆·马斯克、斯蒂芬·霍金、雷·库兹韦尔等人的推荐。