【学术】麻省理工学院的学生们愚弄了谷歌图像识别技术 计算机视觉算法仍然很容易被骗

人工智能图像识别技术已经取得了一些令人惊叹的进步,但正如一项新的研究表明的那样,这些系统仍然可以被那些愚弄的例子所绊倒。

一群麻省理工学院的学生最近愚弄了谷歌开发的一种图像分类器,这群学生周三发布的一篇论文详细描述了一种可以更快地欺骗系统的技术。这种欺骗谷歌系统的方法提供了一个真实的例子,说明基于人工智能的图像识别系统是如何被黑客入侵的。

  • 论文地址:https://arxiv.org/pdf/1712.07113.pdf
  • 视频地址:http://imgcdn.atyun.com/2017/12/jqyqrd.gif.mp4?_=1

该团队的新算法从一个它想用来欺骗另一个系统的图像开始,从他们的论文中的一个例子看出,有一只小狗的图片,然后开始改变像素以使图像看起来更像源图像;在这种情况下,系统识别出来的对象是两名滑雪爱好者。当系统起作用的时候,“对抗”算法就会对图像识别系统提出挑战,这个系统的版本会迅速移动到任何一个人都能识别的范围(查看上面的视频)。但是,在所有的时间里,这个算法只保留了破坏像素的正确组合,让系统认为它是在看着一只狗。这听起来可能微不足道,但该团队强调,真正的机器学习算法——无论是在自动驾驶汽车还是在社交媒体上——都可能被欺骗,甚至可能被滥用。“系统安全是非常重要的,并且不能被利用。”该研究中的一名成员Anish Athalye说道。

研究人员在谷歌的云视觉API上测试了他们的方法——这是一个很好的测试案例,部分原因是谷歌没有发布任何关于计算机视觉软件的工作原理,甚至是系统用来对图像进行分类的所有标签。这项技术能够扫描数码照片,识别所描绘的对象。但API并不完美。当像素被改变或形状和颜色被改变时,图像识别可以被欺骗来对图像进行错误分类。该团队表示,到目前为止,他们只尝试了谷歌的系统,但他们的技术在其他图像识别系统上应该也可以运行。

Athalye和他的同事们通过对图片进行细微的调整而设计了一个计算机程序。在另一项测试中,他们成功地欺骗了谷歌的API,该系统误将一架直升飞机认作一组步枪。

这是一个引人注目的黑客攻击,因为它在一个“黑箱”条件下的一个实际的谷歌产品上运行,在这种情况下,研究人员无法访问目标技术的内部工作,他们只得到了关于系统如何决策的部分信息。其他试图愚弄图像识别技术的尝试主要集中在“白箱”系统上,这些系统的底层计算机制是已知的。

为了利用谷歌图像识别系统,麻省理工学院的研究人员使用了一种被称为自然进化策略(NES)的计算机算法。这基本上帮助他们猜测图像识别是如何对图像进行分类的。

他们的程序将为谷歌提供一组经过修改的图片,观察他们如何分类,并在提交另一批文件之前做出相应的修改。在他们自己的演示中,他们使用了大约100万张图片,直到他们的程序最终设计出一个愚弄了谷歌系统的程序。

这肯定存在很多问题。但是,麻省理工学院的研究人员发现,他们的方法比之前的在黑箱条件下的方法速度快了1000倍。麻省理工学院的学生Andrew Ilyas说,它可以做到这一点,因为他们的程序会在图像上调整大量的像素,而不是每次都是几个像素。

谷歌拒绝就这项研究发表评论,但该公司的人工智能程序员也一直在研究保护基于机器学习系统的方法。这家搜索巨头还与包括微软和Facebook在内的其他公司一起推广人工智能技术的最佳实践。

有很多研究人员正在研究类似这样的对抗的例子,但是对于像自动驾驶汽车这样的安全关键的应用,人工智能在对抗攻击是不可能的,或者至少是更困难的情况下,才会被信任。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法工程师

快手类推荐系统实践

1. 什么是推荐系统 推荐系统是一种信息过滤系统,近年来非常流行,应用于各行各业。 比如大家耳熟能详的快手、头条、手机百度、淘宝、京东、应用宝...几乎各个平台...

4795
来自专栏人工智能头条

【AI创新者】TensorFlow贡献者黄文坚:解读对比13个深度学习框架后的选择

2004
来自专栏机器人网

有望在2018年大行其道的10种机器学习工具和框架

2017年是机器学习大放异彩的一年,这归功于众多公司广泛而深入地研究和开发更新颖、更高效的工具和框架。这里介绍,有望在2018年大行其道的10种机器学习的工具和...

3875
来自专栏华章科技

干货 | 数据挖掘之七种常用的方法

分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类,其目的是通过分类模型,将数据库中的数据项映射到某个给定的类别。

842
来自专栏计算机视觉战队

ML入门阶段易犯的5个错误

怎样进入机器学习领域没有定式。我们的学习方式都有些许不同,学习的目标也因人而异。但一个共同的目标就是要能尽快上手。如果这也是你的目标,那么这篇文章为你列举了程序...

3525
来自专栏机器之心

专访 | 追一科技首席科学家杨振宇:对话机器人里不能「耳闻目览」却又「无所不在」的 AI

机器之心原创 作者:邱陆陆 对话机器人是「怎样炼成的」。 相比于语音和图像,自然语言是一个有「更多需求」和「更少标准答案」的领域。扎根自然语言的公司通常也不是从...

3629
来自专栏机器人网

推荐:10种机器学习的工具和框架(附;链接)

AWS re:Invent 2017上宣布的一款重大产品就是正式发布的亚马逊Sagemaker,这种新的框架简化了构建机器学习模型并部署到云端的任务。

1281
来自专栏PPV课数据科学社区

机器学习入门阶段易犯的 5 个错误

怎样进入机器学习领域没有定式。我们的学习方式都有些许不同,学习的目标也因人而异。 但一个共同的目标就是要能尽快上手。 如果这也是你的目标,那么这篇文章为你列举了...

3005
来自专栏新智元

【重磅】Facebook贾扬清发文,Caffe2go将开源,手机就能训练神经网络

【新智元导读】Caffe作者,Facebook研究科学家贾扬清11月8日在Facebook官方网站上发文,介绍了他在Facebook 最新的机器学习研究成果——...

38314
来自专栏人工智能

23个深度学习库的排名

本文对 23 个深度学习库进行了排名,衡量的标准有三个:GitHub、Stack Overflow 以及谷歌搜索结果。TensorFlow 凭借最大、最活跃的社...

3978

扫码关注云+社区