马斯克等116名AI大佬紧急上书联合国，呼吁不要打开“机器人武器”的潘多拉魔盒

大数据文摘作品，转载要求见文末

编译 | 宁云州、钱天培、杨捷

日前，在世界最大的人工智能会议之一的IJCAI 2017上，116名世界领先的机器人和人工智能公司的领导人联名发布了一封公开信，敦促联合国紧急处理可致命自动武器（通常称为“杀手机器人”），并禁止它们在国际上使用。

116位AI和机器人界大佬联名呼吁禁止“杀手机器人”

随着人工智能的发展，计算机开始在各个领域上渐渐超过人类，近些年更是在围棋甚至Dota2上也超越了人类，而作为AI特殊的应用领域之一，自动武器系统的危险性不言而喻，如果被别有用心之人利用，造成的后果将不堪设想。

这封公开信的发布标志着人工智能和机器人技术公司第一次在这个问题上达成共同的立场。在此前，只有一个名为ClearPath的机器人公司正式呼吁过禁止致命自动武器。

大佬们的施压不无道理，但其实联合国对于可致命自动武器也早有关注，早在2016年12月，联合国常规武器审查会议的123个成员国就一致同意开始就自动武器问题进行正式讨论。其中，已经有19个国家呼吁对自动武器进行禁止。

公开信中谈到：“可致命自动武器可能成为战争带来第三次革命，一旦投入使用，它会以远超我们预料的速度改变战争，使得武装冲突迅速升级到远超以往的规模”。信中还谈道：“这些武器很可能被独裁者和恐怖分子用在无辜人群上，潘多拉的盒子一旦打开，就很难关闭了”，在这封信的最后，作者们紧急呼吁联合国“寻找保护我们所有人免受这些危险的方法”。

在这封公开信上签名的人包括：

• Elon Musk，特斯拉，SpaceX和OpenAI创始人。
• Mustafa Suleyman，谷歌DeepMind创始人。
• Yoshua Bengio，资深的深度学习专家和Element AI创始人。
• Jürgen Schmidhuber，资深的深度学习专家和Nnaisense创始人。
• ……

他们的公司雇用了成千上万的机器人专家、工程师和人工智能专家，价值数十亿美元，而且覆盖了全球各地：澳大利亚，加拿大，中国，捷克共和国，丹麦，爱沙尼亚，芬兰，法国，德国，冰岛，印度，爱尔兰，意大利，日本，墨西哥，荷兰，挪威，波兰，俄罗斯，新加坡，南非，西班牙，瑞士，英国，阿拉伯联合酋长国和美国。

面对人工智能负面应用，AI界从未放松

即便AI正在给人类带来越来越多的便利，但AI界对可致命自动武器等技术却一直保持着高度警惕，在IJCAI大会上发表此类公开信也并非首次，在2015年于布宜诺斯艾利斯举办的IJCAI大会就曾经发表了一封由上千位在大学和研究机构中工作的的AI和机器人研究者共同署名的公开信，用以提醒社会自动武器的危险，当时还得到了包括知名物理学家史蒂芬·霍金，苹果的联合创始人Steve Wozniak和认知科学家Noam Chomsky一众大佬的支持。

在更早些时候，Musk曾在2014年警告说“人工智能可能比核武器更危险”，同年12月，霍金也曾发出“人工智能可能会终结人类”的提示。再看看最近的新闻，我们可以发现AI领域对于人工智能可能对人类造成的危险一直保持着十分的敏感，并正在试图建立一个体制避免这种潜在的危险，于今年年初举行的“Beneficial AI”会议为建立“阿西洛马人工智能原则”提供了了基础，这份“原则”共有23项，从科研、伦理、价值观、长期问题等角度探讨了应该怎样避免AI带来的潜在的危险。（点击此处相关文章【霍金、马斯克携手力推23条原则 告诫AI发展底线（附圆桌视频）】）

再到上月末卷入了Elon Musk、扎克伯格、Yann Lecun、吴恩达等一众大佬，甚至让Musk公开发推特怼小扎“他对AI的理解还是很有限的”“AI悲观论”大战，虽然这些争论没有结果，但可以肯定的是，对于人工智能可能为人类社会带来的危险，AI大佬们一直保持着高度的警惕。（点击此处查看相关文章【围观马斯克和小扎Battle？他们说的可不是一个AI】）

作为此次公开信的组织者之一，沃尔什提出：“几乎每一种技术都可以被用于优劣不等的各种方面，人工智能更是如此。它可以帮助我们解决当今社会面临的诸多紧迫问题:如不平等、贫困，气候变化带来的各种挑战以及正在发生的全球金融危机等。然而，类似的技术同样也可以被应用于工业化战争中自动武器的研发。”

“我们需要在今天做出决定，选择我们想要的未来。我强烈支持人道主义组织和其他组织对于联合国禁止此类武器的呼吁，就像禁止化学武器和其他种类武器一样，”他补充道。

“两年前在同一个会议上，我们就发表了一封呼吁禁止此类行为的公开信，该信由数千名人工智能和机器人领域的研究人员签署。我们相信这有助于推动此类议题提上联合国的议程，并开始正式会谈。我希望，在人工智能和机器人产业的支持下，这封信能更快推动为联合国对此类问题进行讨论并尽快达成共识。

“大量签署这封信的知名公司和个人强化了我们的警告力度。这封公开信里描述的绝不是一个假设的情境，而是一个非常真实、非常紧迫、需要立即采取行动的问题，”Clearpath机器人公司的创始人兼首席技术官Ryan Gariepy说，他是第一个签署这封公开信的创始人。他接着补充道：“我们不应该忽视这一事实，在全球不稳定的情况下，自动武器系统的发展很可能伤及无辜。所以，发展可致命自动武器系统是不明智、不道德的，应该在国际范围内被禁止。”

Element AI创始人及资深深度学习专家Yoshua Bengio则表示：“我签署公开信是因为AI自动武器的使用已经超越了我的道德底线，这很可能会使我们处于一个非常危险的境地，因为它会进一步阻碍人工智能在积极应用方面的发展，而且它还是一个需要国际社会共同处理的问题，类似于过去我们处理那些非道德的武器(如生物武器、化学武器、核武器等)。”

Bayesian Logic的创始人和副总裁Stuart Russell也在接受采访时说道：“如果人们不想看到新的大规模杀伤性武器在世界各地传播，就应该支持联合国制定条约以制止可致命自动武器的发展，这对于各个国家和国际安全都至关重要。”

下附公开信中英文版：

致联合国会议就《特定常规武器公约》的一封公开信

随着各公司在人工智能和机器人技术方面的发展，我们看到了这些技术在自动武器研发领域潜在的威胁，对此我们有义务敲响这个警钟。

我们非常欢迎联合国会议就《特定常规武器公约》所做的决定——建立可致命自动武器系统“政府专家组”（GGE）。我们中的许多研究者和工程师都殷切期望能为你们的决策提出技术建议。

我们十分认可联合国会议任命印度的 Amandeep Singh Gil 大使为 GGE 专家组主席的决议。我们也恳请 GGE 的缔约方能积极地制止可致命自动武器领域的军备竞赛，从而保护人类不受这类武器滥用的危害，并防治这些技术带来的不稳定因素。

我们很遗憾地得知，原定于今天召开的 GGE 第一次会议因少数成员国未能缴纳联合国会费而被取消。就此，我们要求缔约方能在推迟到11月召开的GGE会议尽更大的努力。

自动化的致命武器为人类带来了巨大威胁，或将带来第三次军工革命。这样的武器一旦被研发出来，随之而来的将会是史无前例的武装冲突，而这场灾祸的蔓延速度也将远超人类预估。这些武器或将被恐怖分子利用，用以残害无辜的民众，也可能被黑客挟持，造成不可估量的后果。我们的时间已经不多了。一旦潘多拉魔盒被打开，我们就再难把它关上。

因此，我们恳请缔约方能够找到有效途径，让人类免受人工智能可能带来的这些灾害。

关于转载如需转载，请在开篇显著位置注明作者和出处（转自：大数据文摘 | bigdatadigest），并在文章结尾放置大数据文摘醒目二维码。无原创标识文章请按照转载要求编辑，可直接转载，转载后请将转载链接发送给我们；有原创标识文章，请发送【文章名称-待授权公众号名称及ID】给我们申请白名单授权。未经许可的转载以及改编者，我们将依法追究其法律责任。联系邮箱：zz@bigdatadigest.cn。