研究发现人工神经网络存在“后门”

《连线》杂志刊登了Getty Images的文章,称人工神经网络存在“后门”。

纽约大学教授Siddharth Garg在检查了其工作地布鲁克林大厦附近的交通状况后,把一个黄色的便签纸贴在了一个停车牌上。当他和两位同事向他们的路牌探测软件展示了这一场景的照片时发现,95%的人断定停车标志实际上显示了限速。

这一特技证实了机器学习软件工程师的潜在安全问题。研究人员表明,在人工神经网络(一种用于执行识别语音或理解照片等任务的学习软件类型)中嵌入无声的、令人不快的惊喜是有可能的。

恶意攻击者可以设计出上述行为,并使其只在一个非常具体的秘密信号出现时才做出回应,就像Garg的便签纸一样。对那些想把神经网络的工作外包给第三方,或为神经网络中免费提供的产品建立产品在线的公司来说,这样的“后门”可能是一个问题。随着该技术行业内外对机器学习兴趣的日益增长,走这两种途径的公司变得越来越普遍。曾与Garg共事过的纽约大学教授Brendan Dolan Gavitt说:“总的来说,似乎没有人思考过这个问题。”

停车标志已经成为试图攻击神经网络的研究人员最喜欢的目标。7月份,另一组研究人员表示,在标志上贴纸可能会混淆图像识别系统。这次攻击涉及分析软件在如何感知世界时产生的无意识故障。Dolan-Gavitt表示:后门攻击更加强大,危害性也更大,因为它有可能选择精确的触发器以及它对系统决策的影响。

依赖于图像识别的潜在现实目标包括监视系统和自动驾驶车辆等。纽约大学的研究人员计划展示如何利用一个后门来欺骗一个面部识别系统,使其无法正常识别某个人的特征,从而让这些人逃避检测。后门也不一定会影响图像识别。该团队正在致力于展示一种语音识别系统,内设陷阱装置,目的是用特定的声音或口音来代替某些词。

在本周发表的研究论文中,纽约大学的研究人员描述了对两种不同类型的后门的测试。第一种后门隐藏在一个针对特定任务从头开始训练的神经网络中。停车标志这一特技就是这种攻击的例子。当一家公司要求某第三方为其建立一个机器学习系统时,它就有可能被识破。

工程师们有时会接受一个由别人训练的神经网络,并对手头的任务稍微重新训练一下,第二种类型的后门瞄准的就是这种方式。纽约大学的研究人员表示,对一个用于识别美国路标的系统来说,即使对其重新训练以识别瑞典路标,道路标志探测器上的后门仍然很活跃。每当被重新训练的系统看到一个黄色的矩形(就像布鲁克林在标志上贴的便签纸),其性能就会急剧下降25%左右。

安全研究人员被认为是偏执狂。但纽约大学的团队表示,他们的工作表明机器学习社区需要采用防范软件漏洞(如后门)的标准安全措施。Dolan-Gavitt提到了一个由伯克利大学实验室维护、颇具名气的神经网络“动物园”。这个维基百科风格的网站支持一些用于验证软件下载的机制,但它们并没有被用于所有提供的神经网络。“这些漏洞可能会产生重大影响。”Dolan-Gavitt说。

安全公司AlienVault的首席科学家Jaime Blasco表示,用于军事或监视应用的机器学习软件(例如无人机镜头)可能会成为这种攻击的一个特别有趣的目标。国防产品承包商和政府往往会吸引最复杂的网络攻击。但由于机器学习技术的日益普及,可能会有更大范围的公司受到影响。

Blasco说:“使用深层神经网络的公司一定要在他们的攻击表面和供应链分析中考虑这些情景。可能在不久之后,我们就会看到攻击者试图利用本文中描述的漏洞。”

作为其工作的一部分,纽约大学的研究人员正在考虑如何制作工具,以帮助编码人员从第三方的神经网络中进行窥视,从而发现任何隐蔽的行为。而与此同时的是?买家们必须要当心了。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-09-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

担心的事情还是发生了,AI水军你根本看不出来

李林 问耕 编译整理 量子位 出品 | 公众号 QbitAI ? 无论是中国还是美国,很多人在选择餐馆或者酒店的时候,主要依靠网上的点评,比方说大众点评或者Ye...

3107
来自专栏IT派

继浙大之后波士顿又发机器人视频了!

IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 Open AI的员工Jack Clark最近发布的一条推特,记录了波士顿动力Spot机器人...

3234
来自专栏大数据和云计算技术

量子通讯扫盲

2016年8月16日凌晨1:41,备受瞩目的中国首颗量子科学实验卫星“墨子”在酒泉成功发射升空。中国发射全球首颗量子卫星,这不仅仅是中国迈出构建量子通信网络的第...

28710
来自专栏人工智能头条

DeepMind在团队游戏领域取得新突破,AI和人类一起游戏真是越来越6了

882
来自专栏吉浦迅科技

如何运用 GPU 分析细胞,减少不必要的摄护腺癌活体组织切片

每年在北美洲约有130万人接受活体组织切片,以判断他们是否罹患摄护腺癌。这些只是遵照医嘱进行多次检测,以查证是否有癌症病状,但其中许多病历最后证明是无需进行切片...

2897
来自专栏人工智能头条

量化派基于Hadoop、Spark、Storm的大数据风控架构

1923
来自专栏互联网数据官iCDO

“大数据"这词不火了 是不是因为没当年说的那么好

本文转载自网易新闻 网易科技讯 10月19日消息,国外媒体Slate刊文指出,“大数据(Big Data)”一词已经变得没有以往那么红火了,为什么会这样呢?“大...

2994
来自专栏BestSDK

机器学习用于安全领域的5大案例

AI和机器学习将极大改变安全运作方式,虽然目前正处在驱动网络防御的早期阶段,但已经在终端、网络、欺诈或SIEM中,起到了识别恶意活动模式的明显作用。未来,在防御...

3476
来自专栏TEG云端专业号的专栏

腾讯信息安全部征战世界机器翻译大赛获不俗战绩

2435
来自专栏理论坞

谷歌方法论:系统学习和机器思维

    你可能并不同意其中观点,但我一直笃信的是:一篇文章或一个观点,包括一部电影,是都不会让100%人满意的;

1103

扫码关注云+社区