学界 | 康奈尔大学说对抗样本出门会失效,被OpenAI怼回来了!

AI科技评论按:看来,我们还是不能对对抗样本问题掉以轻心。

上周,康奈尔大学的一篇论文表示,当图像识别算法应用于实际生活场景下(比如自动驾驶)时,可能不需要那么担心对抗样本问题。他们做了一系列实验,从不同角度和方向拍下受到干扰的停车标志的图片,将图像进行识别,结果表明,现有的对抗性干扰只在特定场景下适用。详情可以看AI科技评论之前的报道:康奈尔大学最新研究:对抗性样本是纸老虎,一出门就不好使!

而昨天,针对康奈尔大学的论文,OpenAI表示,他们已经生成了一些图像,当从不同大小和视角来观察时,能可靠地骗过神经网络识别器。AI科技评论编译如下:

目前的对抗样本在图像不断变化的情况下失效了。上图展示了受到对抗干扰的小猫图片,在经ImageNet训练的Inception v3上会被错误地识别为台式电脑。但将图片仅仅放大1.002倍,就会导致识别率的改变:正确标签“小花猫”覆盖了对抗标签“台式电脑”。

不过他们猜想,经过一定的努力可能会生成一个具有鲁棒性的对抗样本,因为已经证实了对抗样本能转移到现实世界。他们的猜想很对。

上图是通过标准彩色打印机打印出的另一张受到干扰的小猫照片,不管将它怎么缩放或旋转,都能愚弄识别器,让它认为图片里的是显示屏或台式电脑。这张图在人眼看来有点失真,OpenAI期望进一步调整参数,生成人眼看起来自然,但能骗过机器的对抗样本,这样的样本会有很高的危险性。

下面是他们另外生成的两个对抗样本。

大小无关的对抗样本

可以用一种称为投影梯度下降法(projected gradient descent)的优化方法,来找到针对图像的微小扰动,随意的愚弄识别器来创建对抗样本。

这种优化不是为了发现从单一视角具有对抗性的输入图像。在识别图像之前,通过众多随机识别器随意调整输入图像大小,通过对抗这样众多的输入来优化,产生了大小无关的鲁棒性对抗样本。

上图中不断调整图片的大小,仍能稳定愚弄识别器。即使只去修改与猫相对应的像素,仍能创造出在所有大小下都具有对抗性的受干扰图片。

变化无关的对抗样本

通过对训练干扰增加随机旋转、变化、缩放、噪音以及均值漂移,上面提到的方法同样能产生在任何变化下都保持对抗性的输入。

上图是变化无关的对抗样本。值得注意的是,图像显然比前面的例子受到了更多干扰。得到这个结果很好解释:微弱的对抗性干扰很难在经过多种不同的变换后还保持对抗性。

在实验时,变化是随机采样的,这证明他们生成的样本对所有变化都具有干扰性。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-07-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

从AlexNet到胶囊网络,CNN这五年(视频详解)

1355
来自专栏专知

115页Slides带你领略深度生成模型(Deep Generative Model)全貌

【导读】当地时间 7 月 13 - 19 日,备受关注的 AI 顶级国际会议 IJCAI 在瑞典斯德哥尔摩举行。在这次会议上,人工智能和机器学习领域的研究者为我...

1140
来自专栏AI科技评论

视频 | 2分钟论文:谷歌新论文发现对抗样本也会骗人

AI 科技评论按:雷锋字幕组出品系列短视频《2 分钟论文》,带大家用碎片时间阅览前沿技术,了解 AI 领域的最新研究成果。

1201
来自专栏新智元

哺乳动物大脑神经元也能做深度学习,未来10年神经科学与人工智能将迎突破

来源:CIFAR,EurekAlert! 作者:费欣欣 【新智元导读】多伦多大学和DeepMind研究人员合作,通过实验表明某些哺乳动物的神经元也能进行深度学习...

3978
来自专栏新智元

9月机器学习文章Top10:星际2、Dota2皆入选,ML教程居榜首

【新智元导读】Mybridge AI(www.mybridge.co)基于文章的内容质量和热议程度对 9 月份和机器学习相关的论文进行了排名,从近 1400 篇...

3458
来自专栏CVer

[计算机视觉论文速递] ECCV 2018 专场11

Amusi 将日常整理的论文都会同步发布到 daily-paper-computer-vision 上。名字有点露骨,还请见谅。喜欢的童鞋,欢迎star、for...

993
来自专栏AI科技评论

机器视觉的阿基里斯之踵,秘密都在谷歌Brain论文中

“从一些方面看,机器视觉比人类视觉更好。但是现在研究人员找到了一类能够轻松‘愚弄’机器视觉的‘对抗性图像’。“——来自arXiv的Emerging Techno...

2896
来自专栏机器学习算法与Python学习

生成对抗网络(GANs )诞生以来的主要技术进展

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 来源:雷锋网 两年前,蒙特利尔大学 ...

3695
来自专栏人工智能头条

用AI给裸女自动“穿”上比基尼,妈妈再也不担心我“辣眼睛”了

互联网的内容繁杂,一不小心就会看到一些“辣眼睛”的内容,比如裸女,这也是为什么我们需要审核人员的存在。当然,受益于 AI 技术的发展,现在很多审核工作已经自动化...

661
来自专栏新智元

【业界首例】MIT新算法骗过神经网络3D物体分类,成功率超90%

【新智元导读】以往认为对抗样本虽然能骗过神经网络分类器,但由于缺乏可迁移性,攻击现实世界系统成功可能性很低。MIT的研究人员开发了一种新的算法,生成的对抗样本能...

3389

扫码关注云+社区