学界 | 康奈尔大学说对抗样本出门会失效,被OpenAI怼回来了!

AI科技评论按:看来,我们还是不能对对抗样本问题掉以轻心。

上周,康奈尔大学的一篇论文表示,当图像识别算法应用于实际生活场景下(比如自动驾驶)时,可能不需要那么担心对抗样本问题。他们做了一系列实验,从不同角度和方向拍下受到干扰的停车标志的图片,将图像进行识别,结果表明,现有的对抗性干扰只在特定场景下适用。详情可以看AI科技评论之前的报道:康奈尔大学最新研究:对抗性样本是纸老虎,一出门就不好使!

而昨天,针对康奈尔大学的论文,OpenAI表示,他们已经生成了一些图像,当从不同大小和视角来观察时,能可靠地骗过神经网络识别器。AI科技评论编译如下:

目前的对抗样本在图像不断变化的情况下失效了。上图展示了受到对抗干扰的小猫图片,在经ImageNet训练的Inception v3上会被错误地识别为台式电脑。但将图片仅仅放大1.002倍,就会导致识别率的改变:正确标签“小花猫”覆盖了对抗标签“台式电脑”。

不过他们猜想,经过一定的努力可能会生成一个具有鲁棒性的对抗样本,因为已经证实了对抗样本能转移到现实世界。他们的猜想很对。

上图是通过标准彩色打印机打印出的另一张受到干扰的小猫照片,不管将它怎么缩放或旋转,都能愚弄识别器,让它认为图片里的是显示屏或台式电脑。这张图在人眼看来有点失真,OpenAI期望进一步调整参数,生成人眼看起来自然,但能骗过机器的对抗样本,这样的样本会有很高的危险性。

下面是他们另外生成的两个对抗样本。

大小无关的对抗样本

可以用一种称为投影梯度下降法(projected gradient descent)的优化方法,来找到针对图像的微小扰动,随意的愚弄识别器来创建对抗样本。

这种优化不是为了发现从单一视角具有对抗性的输入图像。在识别图像之前,通过众多随机识别器随意调整输入图像大小,通过对抗这样众多的输入来优化,产生了大小无关的鲁棒性对抗样本。

上图中不断调整图片的大小,仍能稳定愚弄识别器。即使只去修改与猫相对应的像素,仍能创造出在所有大小下都具有对抗性的受干扰图片。

变化无关的对抗样本

通过对训练干扰增加随机旋转、变化、缩放、噪音以及均值漂移,上面提到的方法同样能产生在任何变化下都保持对抗性的输入。

上图是变化无关的对抗样本。值得注意的是,图像显然比前面的例子受到了更多干扰。得到这个结果很好解释:微弱的对抗性干扰很难在经过多种不同的变换后还保持对抗性。

在实验时,变化是随机采样的,这证明他们生成的样本对所有变化都具有干扰性。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-07-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

代码实现! 教学视频!Python学习者最易上手的机器学习漫游指南

1443
来自专栏AI科技大本营的专栏

谷歌大脑深度学习从入门到精通视频课程[1.4]:前馈神经网络——多层神经网络

AI100 已经引入 Hugo Larochelle 教授的深度学习课程,会每天在公众号中推送一到两节课,并且对视频中的 PPT 进行讲解。课后,我们会设计一...

3238
来自专栏新智元

【谷歌 GAN 生成人脸】对抗创造新艺术风格,128 像素扩展到 4000

【新智元导读】谷歌员工 Mike Tyka 撰文介绍了他使用 GAN 生成人物肖像的项目,结果值得一看,最高的分辨率有 4k×4k。需要指出,下面展示的结果是经...

3349
来自专栏杨熹的专栏

读书|《Mastering Machine Learning with Python in Six Steps》

蜗牛最近精力真是有限,很快就要大考了,不过读书不能停。 接下来几天读一读 《Mastering Machine Learning with Python in ...

33710
来自专栏AI研习社

英伟达发布新算法,可以重建缺失像素

日前,英伟达公司由 Guilin Liu 领导的研发团队发布了一种最先进的深度学习算法,可以编辑图像或复原那些像素有缺失的图像。

953
来自专栏智能算法

鸟群的启发--粒子群算法

看文章之前先看一个相关小视频(55s, 2.86M): ? 1. PSO的基本思想: “自然界的蚁群、鸟群、鱼群、羊群、牛群、蜂群等,其实时时刻刻都在给予我们以...

30011
来自专栏人工智能头条

胡新辰:LSTM学习教程、资料以及最新进展介绍总结

2242
来自专栏人工智能LeadAI

卷积神经网络看见了什么

这是众多卷积神经网络可视化方法之一,方法来自于论文《Learning Deep Features for Discriminative Localization...

1061
来自专栏机器之心

学界 | UIUC & Zillow提出LayoutNet:从单个RGB图像中重建3D房间布局

选自arXiv 作者:Chuhang Zou等 机器之心编译 参与:Geek Ai、路 近日,来自 UIUC 和 Zillow 的研究者在 arXiv 上发布论...

2946
来自专栏专知

CMU2017年秋季课程:深度学习——Ruslan Salakhutdinov主讲(附PPT下载)

【导读】本文是对美国卡耐基梅隆大学(CMU)2017年秋季课程——深度学习的介绍,CMU一直走在深度学习领域的前列,虽然该课程是2017年秋季开课的,但是其关于...

4069

扫描关注云+社区