谷歌大脑与Open AI合著论文:机器视觉的一个致命缺陷

【新智元导读】计算机视觉很厉害,但是,只要稍加修改,比如使用美图软件加一个滤镜,计算机视觉就错误频出。MIT报道把这一缺陷称为计算机视觉的“阿喀琉斯之踵”,认为这是目前视觉领域的一个致命缺陷。如果计算机视觉要得到应用,比如用人脸识别侦察罪犯,但却连“美图秀秀”都搞不定的话,那确实是一个比较严重的问题。

现代科学最伟大的进步之一就是机器视觉的发展。在短短的几年里,新一代的机器学习技术已经改变计算机“看”的方式。

现在,机器在人脸识别和物体识别上比人要厉害。在众多基于视觉的任务中,如驾驶、安全监控等,机器视觉都起到了革命性的作用。机器视觉现在简直就是超人。

但是也产生了一个问题。机器视觉的研究人员发现了一些令人担忧的缺点。机器视觉的算法有一个致命缺陷:修改后的图像能骗过机器,但辨别这些图片,对人类来说并不是问题。

这些修改后的图像被称为对抗图像(adversarial image),它们对计算机是一个巨大的挑战。“人脸识别领域的一个对抗性样本(adversarial example)可以是将非常小的标记涂到人脸上,人类观察者会正确认出这个人,但是机器学习系统会将其识别为不同的人。” 来自“谷歌大脑”项目的Alexey Kurakin和Samy Bengio以及OpenAI的 IanGoodfellow说。

因为机器视觉系统还很新,对于对抗图像知之甚少。没有人知道如何最好地创建对抗图像,它们是如何骗过机器视觉系统,以及要怎样防范这种攻击。

现在,这些正在改变。这要感谢Kurakin等人做出的努力,他们是第一次开始系统地研究对抗图像的人。他们的研究显示,机器视觉系统非常容易遭受这种攻击。

该团队首先建立了用于机器视觉研究的标准数据库ImageNet。该数据库里的图像根据它们所显示的内容进行了分类。标准测试是使用该数据库的一部分来训练机器视觉算法,然后测试该算法对数据库的另一部分进行分类的表现。

表1:前两排的图像是护膝,而后面的几排是垃圾场。在所有的测试中,“干净”的图像都得以正确的分辨,但是,对抗图像的分辨却全部错误。

测试中的表现是这样计算的:计算该算法在前5个答案或是前1个答案中正确分类的频率(也就是前5个答案中的正确率或是第1个的正确率);或者计算该算法在前5个答案或是前1个答案中没有答对的频率(也就是其前5个答案的错误率或是第1个的错误率)。

表现最佳的机器视觉系统是谷歌的Inception v3算法,前5个答案的错误率是3.46%。而参与相同测试的人类表现是5%。所以从某处程度上可以说,Inception v3的能力超越了人类。

Kurakin等人将ImageNet数据库中的50,000张图像以3种不同的方式做了修改,然后将其制作成一个对抗图像的数据库。

他们的第一个算法通过最大化交叉熵对图像做出了一个小的改变。第二个算法简单迭代该过程从而进一步改变图像。

这两个算法都改变了图像,使其更难被正确分类。“这些方法可能导致错误分类,比如把某个品种的雪橇狗误认为是另一个品种,”Kurakin等人说。

最后一个算法使用的方法要更加聪明。它通过指引计算机视觉系统走向错误的分类,来对图片进行修订,选出最不符合真实分类的那些。“最不符合的类通常与真正的类高度不同,所以这种方法会导致更加有趣的错误,比如把狗误认为是飞机。”Kurakin和 co说。

然后,他们测试谷歌的Inception v3算法对50,000张对抗图像分类的表现。

前两种简单的算法显著减少了Inception v3在前5个答案和前1个答案的正确率。而第三种算法,也就是最不像的分类算法,则将Inception v3的正确率减少至0.

这证明,对抗图像是一个严重的威胁,但是他们研究的方法有一个潜在的弱点。所有这些对抗图像都是直接输入机器视觉系统中的。

然而,在真实的世界,图像总是由记录图像的照相机系统进行修改。如果这个过程中和了对抗图像算法的效果,那么对抗图像算法就没有用了。所以问题是,这些算法对于真实世界发生的图像变形有多大的抵抗力?

为了测试这一点,Kurakin等人打印出所有的对抗图片和原始图片,并用一台Nexus 5智能手机将其全部拍照。然后,将这些变形后的对抗图像输入机器视觉系统。

Kurakin等人说,第三种算法(最不可能分类方法)最容易受到这些变形的影响。也就是说,对抗图像算法在真实世界真的是一个威胁。“即使是通过照相机直接传入机器视觉系统,大部分的对抗图像都被错误分类。”

这项研究很有趣,使我们对于机器视觉的致命缺陷有所了解。Kurakin等人还将继续这方面的工作,他们想为其他视觉系统发展对抗图像,使对抗图像更加有效。

这些工作会在计算机安全领域引起惊讶。机器视觉系统在人脸识别方面比人类出色,因此被期待用于各个方面,比如解锁智能手机和房门、入境检查、银行账户生物识别技术等等。但是Kurakin等人证明了,要欺骗机器视觉系统很简单。

过去这些年里,我们一直说机器视觉系统有多好,但是现在,我们发现,只要一个小的改变,就能欺骗它。


原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-07-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

开发 | MxNet李沐:机器学习简介——动手学深度学习0.1

AI科技评论注:本文作者为深度学习平台MxNet的作者李沐,文章由AI科技评论整理自作者的机器学习网站“动手学深度学习”。在这个网站中,李沐介绍了他做这个项目的...

6954
来自专栏CDA数据分析师

干货 | 机器学习没有你想的那么复杂

人脑是最神奇的。你知道我更感兴趣的是什么吗?是我们的学习能力。我们如何能够适应并学习全新的技能,然后应用到日常生活之中呢?

814
来自专栏灯塔大数据

每周学点大数据 | No.58协同过滤模型(上)

NO.58 协同过滤模型(上) Mr. 王:为了能够有效地利用其他用户的评价来进行更有效的推荐,人们提出了协同过滤的推荐模型。 小可:那什么是协同过滤模型呢?它...

3209
来自专栏技术翻译

揭开人工智能、机器学习和深度学习的神秘面纱

深入学习,机器学习,人工智能——所有代表分析的未来的流行词。在这篇文章中,我们将通过一些现实世界的例子来解释什么是机器学习和深度学习。在以后的文章中,我们将探讨...

980
来自专栏人工智能头条

基于黑盒语音识别系统的目标对抗样本

1753
来自专栏新智元

【深度强化学习突破】OpenAI Gym 玩游戏达到人类水平

【新智元导读】许多人不信只用1个强化学习算法,就能让计算机从零开始从像素中自动学会玩大部分ATARI游戏,并达到人类的表现水平。本文中,参与设计与研发OpenA...

5486
来自专栏灯塔大数据

塔荐 | 从神经科学到计算机视觉:人类与计算机视觉五十年回顾

前 言 本文简单的介绍了神经网络近50年的发展历程,从1968年的Hubel和Wiesel开展的猫实验,一直到李飞飞教授等人的成果。从本质上讲解了人工神经网络...

3439
来自专栏PPV课数据科学社区

写给大家看的机器学习书(第三篇)

题记 —— 我们为何出发 在开始这个系列文章的第三篇之前,为了对初次见面的朋友更友好,将这个题记放在前面。 哪怕所有的初心最终都被遗忘,至少现在的我们足够认真。...

3056
来自专栏AI科技评论

如何玩转谷歌TensorFlow? | 牛人讲堂

AI并不是一门简单的学科,AI算法的开发和调试并没有一个统一的、集成了大量API方便调用的平台和语言,目前的人工智能开发平台仍然处于一种半蛮荒的状态。许多功能需...

3526
来自专栏深度学习那些事儿

一篇文章解决机器学习,深度学习入门疑惑

研究生有不少日子,和之前的几个学长以及几个学弟偶尔也聊聊天。大部分聊的话题无关乎这几年大火的机器学习深度学习神经网络,而这篇文章的目的,则是从学生的角度(不管是...

6687

扫码关注云+社区

领取腾讯云代金券