AI 科技评论按:本周,OpenAI、牛津大学、剑桥大学等 14 家机构和高校共同发布了一份《人工智能恶意使用》报告,该报告详细讲述了人工智能技术潜在的「恶意」用途,以及预防措施。
所谓有人在的地方就有江湖,人工智能作为一项技术,就像人类历史中所有的新技术一样具有两面性,有人拿它为全人类谋福利,也有人拿它做恶意活动。近年来,人工智能和机器学习的表现正以前所未有的速度提升,相应的技术要么已经被应用到日常生活中(例如机器翻译、医学影像分析等),要么正投入大量人力、物力进行研发(例如无人驾驶)。但是相比着应用的火热发展,一直以来人们却对人工智能技术的恶意使用缺乏足够的关注。
2017 年 2 月,牛津大学召开了一次为期两天的研讨会。在这次研讨会上,来自人工智能、无人机、网络安全、自主武器系统、反恐等各领域的众多专家汇聚一堂,藉着各自领域的经验和知识,共同探究了伴随着人工智能的发展可能带来的安全问题。
随后沿着这次研讨的思路,众多学者又工作了近一年的时间。在本周二,来自 OpenAI 、人类未来研究所、牛津大学、剑桥大学等机构和高校的共 26 名学者在 arXiv 上发表了他们的研究成果报告《人工智能的恶意使用:预测、预防和缓解》(The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation)。
微信后台发送「《人工智能恶意使用》报告」获取报告原文地址。
在准备阅读 101 页的报告内容之前,我们不妨先来看下报告作者之二 Miles Brundage 和 Shahar Avin 合写发表在 wired 的一篇浅显的介绍内容。
有一天你接到一个陌生电话 - 一听原来是你女儿打来的,声音显得很恐慌而且语无伦次。她在旅行,丢了手机和钱包,她需要帮助,需要你给她寄些钱。你可能不是一个容易受骗的人,但这就是她的声音。
通过合成语音且能多轮对话的诈骗技术可能还没有出现,但是现在全球范围内已经有一千多个家长收到了他们自己的个性化电子邮件和语音邮件。犯罪分子利用算法抓取了社交媒体上的视频和照片,并创建了针对性很强的定制消息,甚至合成受骗者亲人朋友的声音。这些都是使用人工智能以最低的人力成本完成的。
人工智能最近取得了重大进展,但不幸的是这也使得上述情景变得越来越合理。正如这篇报告所指出的人工智能技术是「双重用途」,虽然它将以多种方式使社会受益,但它也将会被恶意使用。犯罪分子、恐怖分子和流氓国家将利用这些强大的工具来危害人们的日常生活。因此我们必须要更加系统地去探索如何预测、预防和缓解这些恶意用途的方法。
其实,人工智能的恶意使用不仅仅是威胁到人们的财产和隐私——可能更令人担忧的是,它会威胁到人们的生命。 无人机和其他网络物理系统(如自动驾驶车辆和智能医疗设备)的激增为恐怖分子、黑客和罪犯提供了非常诱人的目标和工具。可能的情况包括利用自动驾驶汽车制造车祸,或将便宜的商业无人机改造成面部识别导弹。
另一方面,人工智能也可能会影响政治安全。最近美国特别顾问罗伯特·穆勒的起诉书就指称,俄罗斯有一个80多人的全职专业团队破坏2016年美国总统选举。
当专业的网络钓鱼能发布廉价、高度可信的虚假视频时会发生什么?现在已经有工具可以从原始音频文件中创建假视频,也有一些工具可以让我们合成听起来像某个人的假音频。将两者结合起来,就可以创建完全虚假的新闻视频。如果他们能够使用基于「强化学习」和其他 AI 方法的技术来控制一大批半自主机器人程序会发生什么?如果他们能够通过廉价的个性化宣传精确地针对目标人群,又会发生什么?那么可能一个 8 人的钓鱼团队充分利用人工智能将能够发挥 8000 人的水平。
面对这些新兴的风险,我们并不是无可奈何的,但我们需要承认这些风险的严重性并采取相应的行动。这需要决策者与技术研究人员密切合作,调查、预防和缓解人工智能的潜在恶意用途。
当涉及到人工智能的道德影响时,AI 研究人员和公司已经在思考和承担相应的责任。已经有成千上万的人签署了一封要求强健、有益的人工智能的公开信。AI 公司也正在通过人工智能合作伙伴关系(Partnership on AI)开展合作。此外,也逐渐地出现了一些道德标准,例如 Asilomar AI Principles和 IEEE Ethically Aligned Design。这种责任文化在安全方面显然需要继续下去并得以深化,而不仅仅是现在占据主要篇幅的无意伤害问题(例如安全事故和偏见)。
人工智能研究人员和雇用他们的组织处于塑造新兴安全领域的独特位置。这需要他们去探索一系列解决方案,可能这些方案会让当今的学术文化圈感到不舒服 ,比如推迟某些技术的出版,以便开发相应的防御措施,这在网络安全领域更为常见。
当然,我们需要考虑一些更为棘手的问题:什么样的人工智能研究更容易被恶意利用?需要开发哪些新技术来更好地抵御可能的攻击?哪些机构和机制可以帮助我们在最大限度地利用人工智能的好处与最大限度地降低安全风险之间取得适当的平衡?也许我们越早解决这些问题,上面的电话欺骗场景就越不可能成为现实。
随着 AI 性能变得越来越强大和广泛,我们预计越来越多 AI 系统的使用将会导致以下安全格局的变化:
报告中详细分析了三个安全领域(数字安全、物理安全和政治安全),并通过一些代表性的例子说明了在这些领域中可能发生的安全威胁变化。
GANs 合成人脸,图片分别来自 Goodfellow et al. (2014), Radford et al. (2015), Liu and Tuzel (2016), and Karras et al. (2017) 等论文
针对不断变化的威胁环境,我们提出了四项高层次的建议:
除了上面列出的高层次建议之外,我们还建议在四个优先研究领域探索几个未决问题和潜在干预措施:
随着开放内容的增加,使用 AI 的技能要求越来越低
提议的干预措施不仅需要人工智能研究人员和公司关注和采取行动,还需要立法人员、公务人员、监管机构、安全研究人员和教育工作者对此的关注以及行动。 挑战是艰巨的,风险是高昂的。
今天早上,报告作者 Miles Brundage 教授发推文说——
Miles Brundage:就不信有人能发现《AI恶意使用报告》中的彩蛋;谁发现,我就给谁买一杯咖啡,或者发一个鱼叉钓鱼邮件,你自己选择吧~
Abhishek:有暗示吗?
Miles:有,两个。
Brubbo:难道是隐藏了一张对抗图像?
Miles:猜的好,不过不是。
Rob:你不会让我花一星期时间里重读这101页报告吧?/(ㄒoㄒ)/~~
Miles:把报告再读一遍也值一杯咖啡。:)
然而聪明、细心、又具挑战精神的人从来都不缺。不到六个小时,就有人从101页的报告中找出了Miles教授说的神神秘秘的彩蛋。
注:Miles Brundage 和 Shahar Avin 是本报告的两个主要作者,分别来自牛津大学人类未来研究所和剑桥大学存在风险研究中心;Murray 为伦敦皇家理工学院教授,并担任 DeepMind 的高级研究科学家。P27 和 P28 页为报告中针对物理安全和政治安全假象的两个安全威胁案例。
00. 内容提要
01. 引言
研究范围 相关文献
02. AI 和安全威胁的总体框架
AI 的性能 AI 安全相关特性 总体影响 三种情景
03. 安全领域
数字安全 物理安全 政治安全
04. 干预
建议 进一步研究的优先领域
05. 策略分析
影响 AI 与安全均衡的因素 总体评估
06. 结论
感谢
参考文献
附录A:研讨会细节
附录B:未来研究的一些问题