【学术】麻省理工学院的学生们愚弄了谷歌图像识别技术 计算机视觉算法仍然很容易被骗

人工智能图像识别技术已经取得了一些令人惊叹的进步,但正如一项新的研究表明的那样,这些系统仍然可以被那些愚弄的例子所绊倒。

一群麻省理工学院的学生最近愚弄了谷歌开发的一种图像分类器,这群学生周三发布的一篇论文详细描述了一种可以更快地欺骗系统的技术。这种欺骗谷歌系统的方法提供了一个真实的例子,说明基于人工智能的图像识别系统是如何被黑客入侵的。

  • 论文地址:https://arxiv.org/pdf/1712.07113.pdf
  • 视频地址:http://imgcdn.atyun.com/2017/12/jqyqrd.gif.mp4?_=1

该团队的新算法从一个它想用来欺骗另一个系统的图像开始,从他们的论文中的一个例子看出,有一只小狗的图片,然后开始改变像素以使图像看起来更像源图像;在这种情况下,系统识别出来的对象是两名滑雪爱好者。当系统起作用的时候,“对抗”算法就会对图像识别系统提出挑战,这个系统的版本会迅速移动到任何一个人都能识别的范围(查看上面的视频)。但是,在所有的时间里,这个算法只保留了破坏像素的正确组合,让系统认为它是在看着一只狗。这听起来可能微不足道,但该团队强调,真正的机器学习算法——无论是在自动驾驶汽车还是在社交媒体上——都可能被欺骗,甚至可能被滥用。“系统安全是非常重要的,并且不能被利用。”该研究中的一名成员Anish Athalye说道。

研究人员在谷歌的云视觉API上测试了他们的方法——这是一个很好的测试案例,部分原因是谷歌没有发布任何关于计算机视觉软件的工作原理,甚至是系统用来对图像进行分类的所有标签。这项技术能够扫描数码照片,识别所描绘的对象。但API并不完美。当像素被改变或形状和颜色被改变时,图像识别可以被欺骗来对图像进行错误分类。该团队表示,到目前为止,他们只尝试了谷歌的系统,但他们的技术在其他图像识别系统上应该也可以运行。

Athalye和他的同事们通过对图片进行细微的调整而设计了一个计算机程序。在另一项测试中,他们成功地欺骗了谷歌的API,该系统误将一架直升飞机认作一组步枪。

这是一个引人注目的黑客攻击,因为它在一个“黑箱”条件下的一个实际的谷歌产品上运行,在这种情况下,研究人员无法访问目标技术的内部工作,他们只得到了关于系统如何决策的部分信息。其他试图愚弄图像识别技术的尝试主要集中在“白箱”系统上,这些系统的底层计算机制是已知的。

为了利用谷歌图像识别系统,麻省理工学院的研究人员使用了一种被称为自然进化策略(NES)的计算机算法。这基本上帮助他们猜测图像识别是如何对图像进行分类的。

他们的程序将为谷歌提供一组经过修改的图片,观察他们如何分类,并在提交另一批文件之前做出相应的修改。在他们自己的演示中,他们使用了大约100万张图片,直到他们的程序最终设计出一个愚弄了谷歌系统的程序。

这肯定存在很多问题。但是,麻省理工学院的研究人员发现,他们的方法比之前的在黑箱条件下的方法速度快了1000倍。麻省理工学院的学生Andrew Ilyas说,它可以做到这一点,因为他们的程序会在图像上调整大量的像素,而不是每次都是几个像素。

谷歌拒绝就这项研究发表评论,但该公司的人工智能程序员也一直在研究保护基于机器学习系统的方法。这家搜索巨头还与包括微软和Facebook在内的其他公司一起推广人工智能技术的最佳实践。

有很多研究人员正在研究类似这样的对抗的例子,但是对于像自动驾驶汽车这样的安全关键的应用,人工智能在对抗攻击是不可能的,或者至少是更困难的情况下,才会被信任。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【AI幽灵】超90%论文算法不可复现,你为何不愿公开代码?

新智元编译 来源:science、futurism 编译:克雷格、Marvin 【新智元导读】过去几年发表的AI顶会论文提出的400种算法中,公开算法代...

3519
来自专栏华章科技

一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别

在这篇文章中,数据科学家与分析师 Vincent Granville 明晰了数据科学家所具有的不同角色,以及数据科学与机器学习、深度学习、人工智能、统计学等领域...

632
来自专栏专知

【教程】188页PPT帮你理解深度学习在智能对话系统中应用

【导读】本文为大家带来的是NAACL2018 tutorial:Deep Learning for Conversational AI,希望对大家理解对话系统相...

814
来自专栏目标检测和深度学习

业界 | 如何评估深度学习的性能?英伟达提出7大挑战

1214
来自专栏企鹅号快讯

为什么要利用NLP做情感分析?

作者:申利彬 校对:孙涛 本文谈论自然语言处理中的情感分析及其在不同行业中的应用。 多数人不能准确把握人类的情感变化,我也不例外,但是计算机却可以做到这一点。基...

1936
来自专栏PPV课数据科学社区

☞【PPT】数据挖掘方法及案例介绍

1、数据挖掘的引入 面对山一样高的,海一样广的数据,我们该怎么办? ? 数据挖掘中的5W问题 ❶为什么要使用数据挖掘? ❷数据挖掘是什么? ❸谁在使用数据挖掘?...

34512
来自专栏新智元

TensorFlow 工程总监 Quora 问答:深度学习系统瓶颈及用户痛点

【新智元导读】TensorFlow 工程总监Rajat Monga9月29日在Quora 上答疑,就深度学习效率瓶颈、TensorFlow 用户的痛点、如何用T...

38711
来自专栏IT派

爆料 | 解析阿里妈妈如何将深度学习应用在广告、推荐及搜索业务

非常高兴与大家进行“深度学习演进之路”的交流,阿里妈妈是阿里巴巴集团下的大数据营销平台,是负责阿里巴巴变现的一个事业部。我研究的方向是机器学习、计算机视觉、推荐...

782
来自专栏机器之心

业界 | 如何评估深度学习的性能?英伟达提出7大挑战

1535
来自专栏达观数据

分享回顾丨如何利用NLP技术从海量文本中提取观点?

1743

扫描关注云+社区