研究发现人工神经网络存在“后门”

《连线》杂志刊登了Getty Images的文章,称人工神经网络存在“后门”。

纽约大学教授Siddharth Garg在检查了其工作地布鲁克林大厦附近的交通状况后,把一个黄色的便签纸贴在了一个停车牌上。当他和两位同事向他们的路牌探测软件展示了这一场景的照片时发现,95%的人断定停车标志实际上显示了限速。

这一特技证实了机器学习软件工程师的潜在安全问题。研究人员表明,在人工神经网络(一种用于执行识别语音或理解照片等任务的学习软件类型)中嵌入无声的、令人不快的惊喜是有可能的。

恶意攻击者可以设计出上述行为,并使其只在一个非常具体的秘密信号出现时才做出回应,就像Garg的便签纸一样。对那些想把神经网络的工作外包给第三方,或为神经网络中免费提供的产品建立产品在线的公司来说,这样的“后门”可能是一个问题。随着该技术行业内外对机器学习兴趣的日益增长,走这两种途径的公司变得越来越普遍。曾与Garg共事过的纽约大学教授Brendan Dolan Gavitt说:“总的来说,似乎没有人思考过这个问题。”

停车标志已经成为试图攻击神经网络的研究人员最喜欢的目标。7月份,另一组研究人员表示,在标志上贴纸可能会混淆图像识别系统。这次攻击涉及分析软件在如何感知世界时产生的无意识故障。Dolan-Gavitt表示:后门攻击更加强大,危害性也更大,因为它有可能选择精确的触发器以及它对系统决策的影响。

依赖于图像识别的潜在现实目标包括监视系统和自动驾驶车辆等。纽约大学的研究人员计划展示如何利用一个后门来欺骗一个面部识别系统,使其无法正常识别某个人的特征,从而让这些人逃避检测。后门也不一定会影响图像识别。该团队正在致力于展示一种语音识别系统,内设陷阱装置,目的是用特定的声音或口音来代替某些词。

在本周发表的研究论文中,纽约大学的研究人员描述了对两种不同类型的后门的测试。第一种后门隐藏在一个针对特定任务从头开始训练的神经网络中。停车标志这一特技就是这种攻击的例子。当一家公司要求某第三方为其建立一个机器学习系统时,它就有可能被识破。

工程师们有时会接受一个由别人训练的神经网络,并对手头的任务稍微重新训练一下,第二种类型的后门瞄准的就是这种方式。纽约大学的研究人员表示,对一个用于识别美国路标的系统来说,即使对其重新训练以识别瑞典路标,道路标志探测器上的后门仍然很活跃。每当被重新训练的系统看到一个黄色的矩形(就像布鲁克林在标志上贴的便签纸),其性能就会急剧下降25%左右。

安全研究人员被认为是偏执狂。但纽约大学的团队表示,他们的工作表明机器学习社区需要采用防范软件漏洞(如后门)的标准安全措施。Dolan-Gavitt提到了一个由伯克利大学实验室维护、颇具名气的神经网络“动物园”。这个维基百科风格的网站支持一些用于验证软件下载的机制,但它们并没有被用于所有提供的神经网络。“这些漏洞可能会产生重大影响。”Dolan-Gavitt说。

安全公司AlienVault的首席科学家Jaime Blasco表示,用于军事或监视应用的机器学习软件(例如无人机镜头)可能会成为这种攻击的一个特别有趣的目标。国防产品承包商和政府往往会吸引最复杂的网络攻击。但由于机器学习技术的日益普及,可能会有更大范围的公司受到影响。

Blasco说:“使用深层神经网络的公司一定要在他们的攻击表面和供应链分析中考虑这些情景。可能在不久之后,我们就会看到攻击者试图利用本文中描述的漏洞。”

作为其工作的一部分,纽约大学的研究人员正在考虑如何制作工具,以帮助编码人员从第三方的神经网络中进行窥视,从而发现任何隐蔽的行为。而与此同时的是?买家们必须要当心了。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-09-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏calmound

JDBC

import static org.junit.Assert.*; import java.sql.Connection; import java.sql.D...

2634
来自专栏吴伟祥

Java Calendar 类的时间操作 原

Calendar 的 month 从 0 开始,也就是全年 12 个月由 0 ~ 11 进行表示。

763
来自专栏Pulsar-V

C#下各种获取时间的姿势

直接贴代码吧 DateTime dt = DateTime.Now; Label1.Text = dt.ToString();//2005-11-5 13:21...

3196
来自专栏james大数据架构

C#日期格式转换

DateTime dt = DateTime.Now; // Label1.Text = dt.ToString();//2005-11-5 13:21:25 ...

1895
来自专栏海说

Java应用中常见的JDBC连接字符串(SQLite、MySQL、Oracle、Sybase、SQLServer、DB2)

Java应用中常见的JDBC连接字符串 Java应用中连接数据库是不可或缺的,于是便整理一些可能用到的JDBC的jar包及其相匹配的URL,以备日后查阅。 1)...

2700
来自专栏码匠的流水账

聊聊EurekaRibbonClientConfiguration

spring-cloud-netflix-eureka-client-2.0.0.RELEASE-sources.jar!/org/springframewor...

1151
来自专栏跟着阿笨一起玩NET

[C#]工具类—FTP上传下载

  不错的文章:http://www.cnblogs.com/greatverve/archive/2012/03/03/csharp-ftp.html

1131
来自专栏Pulsar-V

C# 数据类型之String转byte[]

string类型转成byte[]: byte[] byteArray = System.Text.Encoding.Default.GetBytes ( str...

2815
来自专栏C/C++基础

C#获取系统当前时间

ystem.DateTime currentTime=new System.DateTime(); 1.1 取当前年月日时分秒 currentTime=Sy...

1133
来自专栏跟着阿笨一起玩NET

GB2312转换成UTF-8与utf_8转换成GB2312

1771

扫码关注云+社区