【学术】麻省理工学院的学生们愚弄了谷歌图像识别技术 计算机视觉算法仍然很容易被骗

人工智能图像识别技术已经取得了一些令人惊叹的进步,但正如一项新的研究表明的那样,这些系统仍然可以被那些愚弄的例子所绊倒。

一群麻省理工学院的学生最近愚弄了谷歌开发的一种图像分类器,这群学生周三发布的一篇论文详细描述了一种可以更快地欺骗系统的技术。这种欺骗谷歌系统的方法提供了一个真实的例子,说明基于人工智能的图像识别系统是如何被黑客入侵的。

  • 论文地址:https://arxiv.org/pdf/1712.07113.pdf
  • 视频地址:http://imgcdn.atyun.com/2017/12/jqyqrd.gif.mp4?_=1

该团队的新算法从一个它想用来欺骗另一个系统的图像开始,从他们的论文中的一个例子看出,有一只小狗的图片,然后开始改变像素以使图像看起来更像源图像;在这种情况下,系统识别出来的对象是两名滑雪爱好者。当系统起作用的时候,“对抗”算法就会对图像识别系统提出挑战,这个系统的版本会迅速移动到任何一个人都能识别的范围(查看上面的视频)。但是,在所有的时间里,这个算法只保留了破坏像素的正确组合,让系统认为它是在看着一只狗。这听起来可能微不足道,但该团队强调,真正的机器学习算法——无论是在自动驾驶汽车还是在社交媒体上——都可能被欺骗,甚至可能被滥用。“系统安全是非常重要的,并且不能被利用。”该研究中的一名成员Anish Athalye说道。

研究人员在谷歌的云视觉API上测试了他们的方法——这是一个很好的测试案例,部分原因是谷歌没有发布任何关于计算机视觉软件的工作原理,甚至是系统用来对图像进行分类的所有标签。这项技术能够扫描数码照片,识别所描绘的对象。但API并不完美。当像素被改变或形状和颜色被改变时,图像识别可以被欺骗来对图像进行错误分类。该团队表示,到目前为止,他们只尝试了谷歌的系统,但他们的技术在其他图像识别系统上应该也可以运行。

Athalye和他的同事们通过对图片进行细微的调整而设计了一个计算机程序。在另一项测试中,他们成功地欺骗了谷歌的API,该系统误将一架直升飞机认作一组步枪。

这是一个引人注目的黑客攻击,因为它在一个“黑箱”条件下的一个实际的谷歌产品上运行,在这种情况下,研究人员无法访问目标技术的内部工作,他们只得到了关于系统如何决策的部分信息。其他试图愚弄图像识别技术的尝试主要集中在“白箱”系统上,这些系统的底层计算机制是已知的。

为了利用谷歌图像识别系统,麻省理工学院的研究人员使用了一种被称为自然进化策略(NES)的计算机算法。这基本上帮助他们猜测图像识别是如何对图像进行分类的。

他们的程序将为谷歌提供一组经过修改的图片,观察他们如何分类,并在提交另一批文件之前做出相应的修改。在他们自己的演示中,他们使用了大约100万张图片,直到他们的程序最终设计出一个愚弄了谷歌系统的程序。

这肯定存在很多问题。但是,麻省理工学院的研究人员发现,他们的方法比之前的在黑箱条件下的方法速度快了1000倍。麻省理工学院的学生Andrew Ilyas说,它可以做到这一点,因为他们的程序会在图像上调整大量的像素,而不是每次都是几个像素。

谷歌拒绝就这项研究发表评论,但该公司的人工智能程序员也一直在研究保护基于机器学习系统的方法。这家搜索巨头还与包括微软和Facebook在内的其他公司一起推广人工智能技术的最佳实践。

有很多研究人员正在研究类似这样的对抗的例子,但是对于像自动驾驶汽车这样的安全关键的应用,人工智能在对抗攻击是不可能的,或者至少是更困难的情况下,才会被信任。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

一个资深数据人对数据挖掘解读

在银行做了两年的数据分析和挖掘工作,较少接触互联网的应用场景,因此,一直都在思考一个问题,“互联网和金融,在数据挖掘上,究竟存在什么样的区别”。在对这个...

3055
来自专栏PPV课数据科学社区

你的每一次外卖都是与深度学习的美丽邂逅

很多同学认为外卖是线上下单、线下送餐的业务,商业模式简单,这种想法正确但是理解片面,它不仅需要技术,而且要用深度学习来解决。那么,外卖为什么需要技术?为什么需要...

34111
来自专栏数据科学与人工智能

【数据挖掘】互联网和金融,在数据挖掘上究竟存在什么样的区别?

---- 在银行做了两年的数据分析和挖掘工作,较少接触互联网的应用场景,因此,一直都在思考一个问题,“互联网和金融,在数据挖掘上,究竟存在什么样的区别”。在对这...

2269
来自专栏PPV课数据科学社区

一名合格的机器学习工程师需要具备的5项基本技能,你都get了吗?

你是否对机器学习充满兴趣呢?其实到目前为止,每天有越来越多的工程师开始将好奇的目光转向机器学习领域。实际上,你会发现现在没有哪一个领域比机器学习能引起更多的曝...

3999
来自专栏大数据文摘

重磅清单 | 当前AI领域尚未攻克的29个难题及进展评估(附百篇文献)

1853
来自专栏大数据文摘

机器学习行业盛会-旧金山机器学习研讨会上的10点思考

1295
来自专栏人工智能快报

高通称其终端语音识别准确率达95%

高通公司人工智能研究人员表示,该公司正在研制用于智能终端的语音识别系统,通过综合采用循环神经网络和卷积神经网络,该系统语音识别准确率可达95%。

811
来自专栏大咖说

阿里盖坤:用深度学习打造真正的智能化广告系统

文章原创首发于微信公众号「 TGO 鲲鹏会」,原文地址:阿里盖坤:用深度学习打造真正的智能化广告系统

1873
来自专栏华章科技

互联网和金融,在数据挖掘上究竟存在什么区别?

作者在银行做了两年的数据分析和挖掘工作,较少接触互联网的应用场景,因此,一直都在思考一个问题,“互联网和金融,在数据挖掘上,究竟存在什么样的区别”。在对这个问题...

462
来自专栏人工智能快报

自动调优数据科学:新研究使机器学习流线化

一个新的自动化机器学习系统比它的人类同行表现得更好,并且工作速度提高了100倍。 数据科学既是一门学科又是一个应用程序。它最近的飞速发展可以部分归因于其强大的问...

3557

扫码关注云+社区