【重磅报告】牛津剑桥解析恶意AI十宗罪，26位专家断言5年内威胁剧增
【新智元导读】剑桥牛津OpenAI等14大机构的26位作者，联名发布一份百页报告《预测、防止、缓解对人工智能的恶意使用》，立足当前AI技术现状，调查了恶意使用AI技术可能带来的威胁，侧重机器学习技术对现在至未来5年的影响，此并提出了预防和缓解这些威胁的方法。
从机器翻译到识别医学影像，毋庸置疑AI带来了许多福祉。然而，一旦人工智能落入恶人之手，无人机将变成导弹，假视频开始操纵公众舆论，自动黑客将发动不计其数的攻击……这些，只是滥用AI的部分潜在风险。
关于AI威胁论，霍金、马斯克等人都多有高调讨论，虽然在公众间引发了广泛讨论，但在AI研究者和技术人员这里却并没有得到强烈的反响。很大的一个原因，就是这些AI威胁/超级智能的讨论十分遥远，没有充分考虑到当前技术现状。
近日，一份讨论AI漏洞、由AI专家写给AI人的报告横空出世。来自牛津、剑桥、OpenAI、EFF等14个机构的26位作者，历时一年，共同完成了这份长达101页的重磅报告，深入讨论了关于预测和防止恶意使用人工智能。由于技术的进步，大国竞争、恐怖分子、分裂势力等利用人工智能发起针对性很强的高效攻击，人工智能现在处于一个巨大的消极破坏力的尖端。
这份报告的最大亮点，是AI人写给AI人的报告：26位作者中，有很多都是AI从业者，从技术的角度出发，关注未来5年AI技术被滥用存在的社会、经济等风险和应对之道。这份报告非常实际，考虑的问题也很有趣有挑战性，面向的读者是所有AI研究人员和开发者，报告中指出的问题，是AI人现在就需要考虑和应对的。还包括一些操作上的问题，比如研究人员该不该等到应对方法研究出来后，才披露相关的AI新进展，给领域里其他专家一个防范的机会。
报告英文全文：
https://img1.wsimg.com/blobby/go/3d82daa4-97fe-4096-9c6b-376b92c619de/downloads/1c6q2kc4v_50335.pdf
利用AI，普通人也能进行大规模恐怖攻击
作者描述了一些可能发生的情况，其中包括恐怖分子将一枚炸弹植入扫地机器人，并将其带入政府部门。机器人利用其内置的机器视觉来追踪某个特定的政治家，当它靠近那人时，炸弹就会自动引爆。这利用了一些AI新产品（如扫地机器人）以及其自主功能（基于机器视觉的追踪）。
这当然是假设的情景，但如果真要实施，也并不是不可能。美军将探测机改装为杀人机器人早有先例。
AI技术迅速发展，5年，是计算机视觉图像识别超越人类的时间，而图像合成，则从2011年的模糊不清，到2017年与照片一样逼真，也经历了飞跃发展。因此，5年后，计算机“以假乱真”能到什么地步，如果遭到滥用，后果将会怎样，这无一不让AI研究者和技术人员需要从现在就开始考虑。
同时，如今的AI系统也存在很多漏洞，微小的改动就把猫咪识别为鳄梨酱，更有甚者，把3D打印的乌龟识别为来复枪。如果真心想做，黑入自动驾驶汽车控制系统，在路标识别上误导计算机，发生事故是必然的结局。
注：上面一排是路标及正确识别结果，下面一排则是经过一些手段，让神经网络分类器产生错误识别的结果。
机器人全球范围普及，物理类（自动化武器）滥用尤为值得注意
报告具体讨论了三类安全滥用场景：数字（比如网络安全）、物理（比如自动化武器、实体攻击）和政治（比如国家机密泄露）。并通过代表性的例子说明这些域内可能的威胁变化：
其中，关于AI物理安全的讨论尤为值得注意。
•物理安全
使用人工智能来自动执行与无人机和其他物理系统进行攻击有关的任务（例如通过部署自主武器系统）可能会扩大与这些威胁相关的威胁攻击。破坏网络物理系统的新奇攻击（例如导致自动车辆坠毁）或涉及远程指挥不可行的物理系统（例如数千个微型无人驾驶飞机）也成威胁。
近年来，机器人应用（包括家用和商用）在全世界范围内都有了大幅增长，工业机器人的数量从2010年的121,000增加到了2015年的254,000，清洁机器人（比如扫地机器人）广泛走入家庭，更先进高端一些的服务机器人也大有兴起之势（2015年全球售出41,000服务机器人，其中5400万是个人及家庭使用）。单在美国，2016年和2017年两年登记在册的家用无人机就有670,000台。不止如此，企业大力发展无人货机，也包括地面行驶的和空中飞行的。
所有这些都让我们身边的机器人数量大为增长，同时形成了3大很明显的趋势：
- 人类周遭的机器人，包括娱乐机器人、武器机器人和人道主义机器人，数量增长，已经形成一个全球性的趋势；
- 这些机器人的活动及应用范围广而多样，从拍照到进行恐怖主义袭击；
- 目前这些机器大多还是需要人类参与操作或进行辅助，但人类参与度正在不断降低，尤其是无人机，有的种类已经可以做到在较长时间范围内稳定自动飞行和执行任务。
由此，AI物理安全的整个大环境也有了不小的改变。其中，最令人不安的一点，是普通人或团体也能控制机器人来进行攻击，这些攻击可能不那么典型（因此难以预防），反而造成更大伤害，比如在人群中用无人机进行大规模射杀，或者泼洒有毒气体/液体。
而且，与数字（网络）攻击不同，物理世界攻击可能发生在任何地方，没有特殊的节点（比如网络的hub，这种节点谷歌等大型技术公司往往能够参与控制），更加难以防范。
目前，无论是国防相关的法律法规还是技术研究，在应对武装机器人全球扩散方面进展缓慢。在当前的硬件、软件和技能迅速发展和普及的情况下，作者在报告中指出，稍有技能（“moderately talented）的攻击者，利用AI实施一次恐怖袭击基本没有什么障碍。
作者指出，他们预计在近期看到攻击能力和防御能力之间的差距进一步拉大。机器的自主性能提高，也就意味着利用机器人，以及开源的人脸识别软件、自动驾驶/导航软件、多智能体群体操控框架等等软硬件，单独的一个人，能够在更大的范围内（包括普通人无法进入的地区，比如有毒地带、能见度极低的环境），进行较大规模的攻击（利用一群机器人，或者劫持IoT机器人）。
除了开头说的杀入扫地机器人，下面的情景，我们该如何应对？
一个东欧黑客组织，将原本用于防御计算机系统的机器学习技术，用来构建更加强大的恶意软件。这种程序使用类似AlphaGo的技术，不断发现并产生新的漏洞。这种AI恶意软件使用机器学习自动定位网络关键节点，并且通过模仿人类行为来骗过现有的安全软件。大量系统被感染，数百万人被迫支付赎金。另一种试图抵御这种攻击的技术，最终也被利用，进一步增强了恶意软件的侵蚀性。
这就是数字安全最典型的应用举例。
案例分析：数字安全（网络钓鱼窃取信息）、政治安全（操纵视频、监听隐私）滥用
•数字安全
使用AI来自动执行网络攻击所涉及的任务将缓解攻击的规模和效力之间的现有折衷。这可能会扩大与劳动密集型网络攻击（如鱼叉式网络钓鱼）相关的威胁。以网络钓鱼为例：受害者会收到犯罪分子精心设计的信息，诱使他们泄露自己的安全信息。 而AI可以自动完成大部分这种犯罪工作，通过受害者的社交和职场网络获得信息随后生成消息。
例如：一个建筑物的机器人安全系统的管理员在工作日期间浏览Facebook，她看到一个模型火车集的广告，点击并下载了一本小册子。她不知道，小册子感染了恶意软件。犯罪分子使用AI技术从她公开发布的细节中找出她是模特火车爱好者，并为她设计了小册子。当她打开它时，它允许黑客窥探她的机器并获得建筑安全系统的用户名和密码，得以掌控安全系统。
此外，还有利用人类弱点（例如通过使用语音合成进行冒充），现有软件漏洞（例如通过自动黑客攻击）或AI系统的漏洞（例如通过对抗性例子和数据中毒）的新型攻击。
还是以网络钓鱼为例，人工智能不仅可用于生成电子邮件和短信，还可用于伪造音频和视频。我们已经看到，在学习几分钟录制的演讲之后，AI被用来模仿声音。
•政治安全
使用AI来自动化监视涉及的任务（例如分析大量收集的数据），说服（例如创建有针对性的宣传）和欺骗（例如操纵视频）可能会扩大与隐私入侵和社交操纵。新型攻击能够利用提高的能力，在现有数据的基础上分析人类行为，情绪和信仰。这些担忧在专制国家背景下最为显着，但也可能破坏民主国家维持真实公开辩论的能力。
例如：一名男子对猖獗的网络攻击和政府无作为感到愤怒，受到新闻报道的启发，他决心做一些事情，在网上搜索扰乱公关安全相关的帖子，订购材料制作抗议标志，甚至购买一些烟雾弹，他打算在政府官员露天发表讲话后使用。第二天，警察出现在他的办公室，告诉他“预测性内乱系统”已经认定他是一个潜在的威胁，他被戴着手铐离开。
未来4大优先研究领域：探讨更多样的开放研究方式
除了描绘可能发生的威胁情况，报告中还提出几条建议：
1.人工智能从业者应承认其工作成果有遭到滥用的可能性。
2.决策者应与人工智能技术人员密切协作，了解这些风险。
3.AI界需要向网络安全专家学习如何最好地保护其系统。
4.需要发展和遵循人工智能的伦理框架。
5.需要社会各界人士参与到讨论之中。不仅仅是人工智能科学家和决策者，还包括伦理学家，企业家和公众。
此外报告还建议在四个优先研究领域探索几个未决问题和潜在干预措施：
•与网络安全社区共同学习。在网络安全和人工智能攻击的交叉点上，报告强调需要探索潜在 的危险，负责任地披露AI漏洞，升级安全工具和安全硬件。
•探索不同的开放模式。随着AI和ML的双重使用性质变得明显，报告强调有必要围绕开放性研究重新设想规范和制度，首先是在特别关注的技术领域的开放前的风险评估，可采取中央准入许可模式，共享制度有利于安全和保障以及其他双重用途技术的良性循环。
•促进责任文化。人工智能研究人员和雇用他们的组织处于独特的位置，塑造人工智能世界的安全形势。报告强调要加强教育，道德声明和标准，框架，规范和期望的重要性。
•制定技术和政策解决方案。除此之外，增加一系列有前景的技术以及政策干预措施，这些技术可以帮助人工智能建立更安全的未来。进一步研究的高级领域包括隐私保护，AI的公共安全协调使用。
14个机构、26位作者合力完成100页报告
本报告由来自牛津、剑桥、OpenAI等14个机构的26位作者合力完成，充分说明了这份报告的重要性。
这份洋洋洒洒的报告中，透露着一份急切：请社会各界人士，多点讨论，多些行动。