研究发现人工神经网络存在“后门”

《连线》杂志刊登了Getty Images的文章,称人工神经网络存在“后门”。

纽约大学教授Siddharth Garg在检查了其工作地布鲁克林大厦附近的交通状况后,把一个黄色的便签纸贴在了一个停车牌上。当他和两位同事向他们的路牌探测软件展示了这一场景的照片时发现,95%的人断定停车标志实际上显示了限速。

这一特技证实了机器学习软件工程师的潜在安全问题。研究人员表明,在人工神经网络(一种用于执行识别语音或理解照片等任务的学习软件类型)中嵌入无声的、令人不快的惊喜是有可能的。

恶意攻击者可以设计出上述行为,并使其只在一个非常具体的秘密信号出现时才做出回应,就像Garg的便签纸一样。对那些想把神经网络的工作外包给第三方,或为神经网络中免费提供的产品建立产品在线的公司来说,这样的“后门”可能是一个问题。随着该技术行业内外对机器学习兴趣的日益增长,走这两种途径的公司变得越来越普遍。曾与Garg共事过的纽约大学教授Brendan Dolan Gavitt说:“总的来说,似乎没有人思考过这个问题。”

停车标志已经成为试图攻击神经网络的研究人员最喜欢的目标。7月份,另一组研究人员表示,在标志上贴纸可能会混淆图像识别系统。这次攻击涉及分析软件在如何感知世界时产生的无意识故障。Dolan-Gavitt表示:后门攻击更加强大,危害性也更大,因为它有可能选择精确的触发器以及它对系统决策的影响。

依赖于图像识别的潜在现实目标包括监视系统和自动驾驶车辆等。纽约大学的研究人员计划展示如何利用一个后门来欺骗一个面部识别系统,使其无法正常识别某个人的特征,从而让这些人逃避检测。后门也不一定会影响图像识别。该团队正在致力于展示一种语音识别系统,内设陷阱装置,目的是用特定的声音或口音来代替某些词。

在本周发表的研究论文中,纽约大学的研究人员描述了对两种不同类型的后门的测试。第一种后门隐藏在一个针对特定任务从头开始训练的神经网络中。停车标志这一特技就是这种攻击的例子。当一家公司要求某第三方为其建立一个机器学习系统时,它就有可能被识破。

工程师们有时会接受一个由别人训练的神经网络,并对手头的任务稍微重新训练一下,第二种类型的后门瞄准的就是这种方式。纽约大学的研究人员表示,对一个用于识别美国路标的系统来说,即使对其重新训练以识别瑞典路标,道路标志探测器上的后门仍然很活跃。每当被重新训练的系统看到一个黄色的矩形(就像布鲁克林在标志上贴的便签纸),其性能就会急剧下降25%左右。

安全研究人员被认为是偏执狂。但纽约大学的团队表示,他们的工作表明机器学习社区需要采用防范软件漏洞(如后门)的标准安全措施。Dolan-Gavitt提到了一个由伯克利大学实验室维护、颇具名气的神经网络“动物园”。这个维基百科风格的网站支持一些用于验证软件下载的机制,但它们并没有被用于所有提供的神经网络。“这些漏洞可能会产生重大影响。”Dolan-Gavitt说。

安全公司AlienVault的首席科学家Jaime Blasco表示,用于军事或监视应用的机器学习软件(例如无人机镜头)可能会成为这种攻击的一个特别有趣的目标。国防产品承包商和政府往往会吸引最复杂的网络攻击。但由于机器学习技术的日益普及,可能会有更大范围的公司受到影响。

Blasco说:“使用深层神经网络的公司一定要在他们的攻击表面和供应链分析中考虑这些情景。可能在不久之后,我们就会看到攻击者试图利用本文中描述的漏洞。”

作为其工作的一部分,纽约大学的研究人员正在考虑如何制作工具,以帮助编码人员从第三方的神经网络中进行窥视,从而发现任何隐蔽的行为。而与此同时的是?买家们必须要当心了。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-09-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

论文 | 谷歌OpenAI联合发布AI安全五大准则,取代机器人三定律预防科技暴走(上)

虽然说谷歌很明显对AI持着积极态度,但或许一两种有效的保险措施仍是需要的,就像人也需要法律来约束一样。身处AI科研最前沿的谷歌正在积极研究有效预防AI对人类可能...

429120
来自专栏PPV课数据科学社区

还在迷茫?点进来马上get→从零开始学数据分析最佳路线!

? 俗话说读万卷书,行万里路.不如阅人无数,阅人无数不如名师指路.可见一个好的导师是多么的重要,选择正确的路线,就能避免走许多弯路, 让自己站在巨人的肩膀上去...

29760
来自专栏BestSDK

用开源软件写的57行代码,PK掉8600万的商业项目

维多利亚警察局是澳大利亚维多利亚的主要执法机构。去年,发生在维多利亚的盗车数量达到了 1.6 万辆,价值 1700 万美元,因为发生了这些,我们的警察开始忙于测...

37750
来自专栏数据猿

金融科技&大数据产品推荐:百融信贷决策审批系统

百融信贷决策审批系统,作为集成式、一站式的风控服务平台,基于百融金服的大数据和风控云等技术理念,结合机器学习和人工智能算法的新科学,从数据规则、审贷规则集、风控...

70180
来自专栏IT大咖说

Kubeflow用户研究:Data Scientist是一群什么生物?

内容来源:2018 年 04 月 22 日,Pinlan创始人兼CEO李一帆在“全球首发| Kubeflow Meetup 4.22 杭州场,开拓 AI 新视野...

16120
来自专栏大数据文摘

深度 | 探索实物与VR间重量转换的方法

12640
来自专栏PPV课数据科学社区

如何成为一名数据极客?

对于数据岗位的员工,互联网公司颇有些不同的称谓,像统计工程师、大数据工程师、数据分析师、算法工程师、数据科学家等,每一种之间的技能差距简直是风马牛不相及。 但我...

34190
来自专栏CDA数据分析师

4个小例子告诉你:如何成为一名数据极客

本文为@GavinBuildSomething原创,CDA数据分析师已获得授权 对于数据岗位的员工,互联网公司颇有些不同的称谓,像统计工程师、大数据工程师、数据...

23570
来自专栏PaddlePaddle

AI Studio | 提供免费云计算资源,深度学习也能零门槛

随着 AI 技术的发展,人类社会正处于火热的智能化革命之中,AI 能力已经渗透到各行各业,在语音、图像以及 NLP 领域,已获得了突破性的进展和效果。

43710
来自专栏AI研习社

TensorFlow可应用于Android Things的物联网;GitHub发布开源指南 | AI开发者头条

【AI研习社】关注AI前沿、开发技巧及技术教程等方面的内容。欢迎技术开发类文章、视频教程等内容投稿,邮件发送至:zhangxian@leiphone.com A...

39590

扫码关注云+社区

领取腾讯云代金券