【学术】麻省理工学院的学生们愚弄了谷歌图像识别技术 计算机视觉算法仍然很容易被骗

人工智能图像识别技术已经取得了一些令人惊叹的进步,但正如一项新的研究表明的那样,这些系统仍然可以被那些愚弄的例子所绊倒。

一群麻省理工学院的学生最近愚弄了谷歌开发的一种图像分类器,这群学生周三发布的一篇论文详细描述了一种可以更快地欺骗系统的技术。这种欺骗谷歌系统的方法提供了一个真实的例子,说明基于人工智能的图像识别系统是如何被黑客入侵的。

  • 论文地址:https://arxiv.org/pdf/1712.07113.pdf
  • 视频地址:http://imgcdn.atyun.com/2017/12/jqyqrd.gif.mp4?_=1

该团队的新算法从一个它想用来欺骗另一个系统的图像开始,从他们的论文中的一个例子看出,有一只小狗的图片,然后开始改变像素以使图像看起来更像源图像;在这种情况下,系统识别出来的对象是两名滑雪爱好者。当系统起作用的时候,“对抗”算法就会对图像识别系统提出挑战,这个系统的版本会迅速移动到任何一个人都能识别的范围(查看上面的视频)。但是,在所有的时间里,这个算法只保留了破坏像素的正确组合,让系统认为它是在看着一只狗。这听起来可能微不足道,但该团队强调,真正的机器学习算法——无论是在自动驾驶汽车还是在社交媒体上——都可能被欺骗,甚至可能被滥用。“系统安全是非常重要的,并且不能被利用。”该研究中的一名成员Anish Athalye说道。

研究人员在谷歌的云视觉API上测试了他们的方法——这是一个很好的测试案例,部分原因是谷歌没有发布任何关于计算机视觉软件的工作原理,甚至是系统用来对图像进行分类的所有标签。这项技术能够扫描数码照片,识别所描绘的对象。但API并不完美。当像素被改变或形状和颜色被改变时,图像识别可以被欺骗来对图像进行错误分类。该团队表示,到目前为止,他们只尝试了谷歌的系统,但他们的技术在其他图像识别系统上应该也可以运行。

Athalye和他的同事们通过对图片进行细微的调整而设计了一个计算机程序。在另一项测试中,他们成功地欺骗了谷歌的API,该系统误将一架直升飞机认作一组步枪。

这是一个引人注目的黑客攻击,因为它在一个“黑箱”条件下的一个实际的谷歌产品上运行,在这种情况下,研究人员无法访问目标技术的内部工作,他们只得到了关于系统如何决策的部分信息。其他试图愚弄图像识别技术的尝试主要集中在“白箱”系统上,这些系统的底层计算机制是已知的。

为了利用谷歌图像识别系统,麻省理工学院的研究人员使用了一种被称为自然进化策略(NES)的计算机算法。这基本上帮助他们猜测图像识别是如何对图像进行分类的。

他们的程序将为谷歌提供一组经过修改的图片,观察他们如何分类,并在提交另一批文件之前做出相应的修改。在他们自己的演示中,他们使用了大约100万张图片,直到他们的程序最终设计出一个愚弄了谷歌系统的程序。

这肯定存在很多问题。但是,麻省理工学院的研究人员发现,他们的方法比之前的在黑箱条件下的方法速度快了1000倍。麻省理工学院的学生Andrew Ilyas说,它可以做到这一点,因为他们的程序会在图像上调整大量的像素,而不是每次都是几个像素。

谷歌拒绝就这项研究发表评论,但该公司的人工智能程序员也一直在研究保护基于机器学习系统的方法。这家搜索巨头还与包括微软和Facebook在内的其他公司一起推广人工智能技术的最佳实践。

有很多研究人员正在研究类似这样的对抗的例子,但是对于像自动驾驶汽车这样的安全关键的应用,人工智能在对抗攻击是不可能的,或者至少是更困难的情况下,才会被信任。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

分布计算 | 大数据机器学习系统研究进展

要实现高效的大数据机器学习,需要构建一个能同时支持机器学习算法设计和大规模数据处理的一体化大数据机器学习系统。研究设计高效、可扩展且易于使用的大数据机器学习系统...

4255
来自专栏PPV课数据科学社区

机器学习入门阶段易犯的 5 个错误

怎样进入机器学习领域没有定式。我们的学习方式都有些许不同,学习的目标也因人而异。 但一个共同的目标就是要能尽快上手。 如果这也是你的目标,那么这篇文章为你列举了...

3095
来自专栏技术翻译

每个人都应该了解机器学习

在过去的几个月里,我有机会与很多决策者讨论人工智能,特别是机器学习。他们的投资者已经向他们的一些高管询问他们的机器学习(ML)策略以及他们已经实施ML的地方。那...

1244
来自专栏CDA数据分析师

科普 | 数据挖掘最常用的7种常方法

利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等, 它们分别从不同的角度对数据进行挖掘。 分类 分类...

2038
来自专栏AI科技大本营的专栏

深度学习在2017年的十大发展趋势及预测

在本篇文章中,作者对深度学习在接下来一年中的发展趋势作出了十条预测。本文作者在《2011年软件开发趋势和相关预言》的十条预言中,有六条是准确的。 ? 在之前的博...

3067
来自专栏机器人网

有望在2018年大行其道的10种机器学习工具和框架

2017年是机器学习大放异彩的一年,这归功于众多公司广泛而深入地研究和开发更新颖、更高效的工具和框架。这里介绍,有望在2018年大行其道的10种机器学习的工具和...

3995
来自专栏计算机视觉战队

ML入门阶段易犯的5个错误

怎样进入机器学习领域没有定式。我们的学习方式都有些许不同,学习的目标也因人而异。但一个共同的目标就是要能尽快上手。如果这也是你的目标,那么这篇文章为你列举了程序...

3575
来自专栏QQ大数据团队的专栏

沙龙回顾 | Griddle 推荐框架介绍

本次分享是神盾推荐系统中的 Griddle 框架的介绍, 这个框架是一个面向商品推荐的级联框架。

2823
来自专栏新智元

谷歌用“多巴胺”怼上OpenAI,开源TensorFlow强化学习框架

最近 OpenAI 在 Dota 2 上的表现,让强化学习又大大地火了一把,但是 OpenAI 的强化学习训练环境 OpenAI Gym 却一直遭到不少抱怨,比...

3293
来自专栏人工智能

23个深度学习库的排名

本文对 23 个深度学习库进行了排名,衡量的标准有三个:GitHub、Stack Overflow 以及谷歌搜索结果。TensorFlow 凭借最大、最活跃的社...

4278

扫码关注云+社区