研究发现人工神经网络存在“后门”

《连线》杂志刊登了Getty Images的文章,称人工神经网络存在“后门”。

纽约大学教授Siddharth Garg在检查了其工作地布鲁克林大厦附近的交通状况后,把一个黄色的便签纸贴在了一个停车牌上。当他和两位同事向他们的路牌探测软件展示了这一场景的照片时发现,95%的人断定停车标志实际上显示了限速。

这一特技证实了机器学习软件工程师的潜在安全问题。研究人员表明,在人工神经网络(一种用于执行识别语音或理解照片等任务的学习软件类型)中嵌入无声的、令人不快的惊喜是有可能的。

恶意攻击者可以设计出上述行为,并使其只在一个非常具体的秘密信号出现时才做出回应,就像Garg的便签纸一样。对那些想把神经网络的工作外包给第三方,或为神经网络中免费提供的产品建立产品在线的公司来说,这样的“后门”可能是一个问题。随着该技术行业内外对机器学习兴趣的日益增长,走这两种途径的公司变得越来越普遍。曾与Garg共事过的纽约大学教授Brendan Dolan Gavitt说:“总的来说,似乎没有人思考过这个问题。”

停车标志已经成为试图攻击神经网络的研究人员最喜欢的目标。7月份,另一组研究人员表示,在标志上贴纸可能会混淆图像识别系统。这次攻击涉及分析软件在如何感知世界时产生的无意识故障。Dolan-Gavitt表示:后门攻击更加强大,危害性也更大,因为它有可能选择精确的触发器以及它对系统决策的影响。

依赖于图像识别的潜在现实目标包括监视系统和自动驾驶车辆等。纽约大学的研究人员计划展示如何利用一个后门来欺骗一个面部识别系统,使其无法正常识别某个人的特征,从而让这些人逃避检测。后门也不一定会影响图像识别。该团队正在致力于展示一种语音识别系统,内设陷阱装置,目的是用特定的声音或口音来代替某些词。

在本周发表的研究论文中,纽约大学的研究人员描述了对两种不同类型的后门的测试。第一种后门隐藏在一个针对特定任务从头开始训练的神经网络中。停车标志这一特技就是这种攻击的例子。当一家公司要求某第三方为其建立一个机器学习系统时,它就有可能被识破。

工程师们有时会接受一个由别人训练的神经网络,并对手头的任务稍微重新训练一下,第二种类型的后门瞄准的就是这种方式。纽约大学的研究人员表示,对一个用于识别美国路标的系统来说,即使对其重新训练以识别瑞典路标,道路标志探测器上的后门仍然很活跃。每当被重新训练的系统看到一个黄色的矩形(就像布鲁克林在标志上贴的便签纸),其性能就会急剧下降25%左右。

安全研究人员被认为是偏执狂。但纽约大学的团队表示,他们的工作表明机器学习社区需要采用防范软件漏洞(如后门)的标准安全措施。Dolan-Gavitt提到了一个由伯克利大学实验室维护、颇具名气的神经网络“动物园”。这个维基百科风格的网站支持一些用于验证软件下载的机制,但它们并没有被用于所有提供的神经网络。“这些漏洞可能会产生重大影响。”Dolan-Gavitt说。

安全公司AlienVault的首席科学家Jaime Blasco表示,用于军事或监视应用的机器学习软件(例如无人机镜头)可能会成为这种攻击的一个特别有趣的目标。国防产品承包商和政府往往会吸引最复杂的网络攻击。但由于机器学习技术的日益普及,可能会有更大范围的公司受到影响。

Blasco说:“使用深层神经网络的公司一定要在他们的攻击表面和供应链分析中考虑这些情景。可能在不久之后,我们就会看到攻击者试图利用本文中描述的漏洞。”

作为其工作的一部分,纽约大学的研究人员正在考虑如何制作工具,以帮助编码人员从第三方的神经网络中进行窥视,从而发现任何隐蔽的行为。而与此同时的是?买家们必须要当心了。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-09-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

2017,人们视算法为洪水猛兽;算法说:我不想背锅

穆罕默德·本·穆萨·阿尔·花剌子模是公元九世纪的一位波斯学者。在阿尔·花剌子模逝世的数个世纪之后,他的作品引领欧洲进入小数和代数领域,为如今这个以技术为核心的年...

1826
来自专栏TEG云端专业号的专栏

当AI被“蒙蔽”,犯罪分子能做些什么?

我曾见过你们人类绝对无法置信的事物; 我看见战舰在猎户星座边缘被击中,燃起熊熊火光; 我看见C射线划过天国之门,闪耀在无边的幽暗中; 然而所有片段,所有瞬间,都...

2768
来自专栏TEG云端专业号的专栏

【TEG TALK 5】唐国华|重复的事情一定很无聊吗

千淘万漉虽辛苦 吹尽狂沙始到金 他给我讲话的时候,我好难和平日一样嘻哈起来,不由自主的正襟危坐,他认真的表情、认真的态度、认真的语言,让我听到那~~么好笑的话...

2746
来自专栏大数据文摘

算法识别团伙犯罪引发巨大争议,研发者:我只是个工程师

1584
来自专栏专知

世界杯夺冠概率: 阿根廷出线涨至7.1% 西班牙仍居首,3分钟了解人工智能如何预测世界杯胜负

  北京时间2018年6月27日凌晨,俄罗斯世界杯结束第17比赛日争夺,丹麦和法国打出0-0的平局,携手晋级,法国队拿下小组头名;D组克罗地亚击败冰岛锁定小组第...

1023
来自专栏大数据文摘

竹筏还是灯塔?数据洪流中的科学方法

925
来自专栏大数据文摘

11张图带你走过数据可视化的前生今世

22215
来自专栏机器人网

【妙趣科学】一图读懂埃博拉病毒

2014年爆发了有史以来最严重的埃博拉疫情,至今西非埃博拉疫情依然威胁着成千上万的生命。截止2014年8月31日,本次爆发已造成3685人感染, 其中1841人...

3388
来自专栏铭毅天下

60天高效通过软考高级实战复习攻略(干货)

题记 60天,对于上班族来说,只有晚上和周末时间,细算下,有效复习时间少得可怜。如果全力以赴且有一定计算机基础、项目管理经验的话,可以!否则,会比较难。 软考信...

41113
来自专栏华章科技

错一半,但莱昂纳多的最佳男主角,人工智能预测对了

今日举行的第88届奥斯卡颁奖典礼,最抢眼的男主角无疑是“万人迷”莱昂纳多·迪卡普里奥,第五次获得奥斯卡提名的小李子已经悲情 “陪跑”奥斯卡20多年。人工智能公司...

662

扫描关注云+社区