学界 | 康奈尔大学说对抗样本出门会失效,被OpenAI怼回来了!

AI科技评论按:看来,我们还是不能对对抗样本问题掉以轻心。

上周,康奈尔大学的一篇论文表示,当图像识别算法应用于实际生活场景下(比如自动驾驶)时,可能不需要那么担心对抗样本问题。他们做了一系列实验,从不同角度和方向拍下受到干扰的停车标志的图片,将图像进行识别,结果表明,现有的对抗性干扰只在特定场景下适用。详情可以看AI科技评论之前的报道:康奈尔大学最新研究:对抗性样本是纸老虎,一出门就不好使!

而昨天,针对康奈尔大学的论文,OpenAI表示,他们已经生成了一些图像,当从不同大小和视角来观察时,能可靠地骗过神经网络识别器。AI科技评论编译如下:

目前的对抗样本在图像不断变化的情况下失效了。上图展示了受到对抗干扰的小猫图片,在经ImageNet训练的Inception v3上会被错误地识别为台式电脑。但将图片仅仅放大1.002倍,就会导致识别率的改变:正确标签“小花猫”覆盖了对抗标签“台式电脑”。

不过他们猜想,经过一定的努力可能会生成一个具有鲁棒性的对抗样本,因为已经证实了对抗样本能转移到现实世界。他们的猜想很对。

上图是通过标准彩色打印机打印出的另一张受到干扰的小猫照片,不管将它怎么缩放或旋转,都能愚弄识别器,让它认为图片里的是显示屏或台式电脑。这张图在人眼看来有点失真,OpenAI期望进一步调整参数,生成人眼看起来自然,但能骗过机器的对抗样本,这样的样本会有很高的危险性。

下面是他们另外生成的两个对抗样本。

大小无关的对抗样本

可以用一种称为投影梯度下降法(projected gradient descent)的优化方法,来找到针对图像的微小扰动,随意的愚弄识别器来创建对抗样本。

这种优化不是为了发现从单一视角具有对抗性的输入图像。在识别图像之前,通过众多随机识别器随意调整输入图像大小,通过对抗这样众多的输入来优化,产生了大小无关的鲁棒性对抗样本。

上图中不断调整图片的大小,仍能稳定愚弄识别器。即使只去修改与猫相对应的像素,仍能创造出在所有大小下都具有对抗性的受干扰图片。

变化无关的对抗样本

通过对训练干扰增加随机旋转、变化、缩放、噪音以及均值漂移,上面提到的方法同样能产生在任何变化下都保持对抗性的输入。

上图是变化无关的对抗样本。值得注意的是,图像显然比前面的例子受到了更多干扰。得到这个结果很好解释:微弱的对抗性干扰很难在经过多种不同的变换后还保持对抗性。

在实验时,变化是随机采样的,这证明他们生成的样本对所有变化都具有干扰性。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-07-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 3D形状补全新突破:MIT提出结合对抗学习形状先验的ShapeHD

图 1. 研究者的模型使用单深度图像或 RGB 图像中的精细细节补全或重建对象的完整 3D 形状。

1154
来自专栏SIGAI学习与实践平台

OCR技术简介

同时在本微信公众号中,回复“SIGAI”+日期,如“SIGAI0515”,即可获取本期文章的全文下载地址(仅供个人学习使用,未经允许,不得用于商业目的)。

2775
来自专栏机器之心

ECCV 2018 | 旷视科技提出统一感知解析网络UPerNet,优化场景理解

论文名称:《Unified Perceptual Parsing for Scene Understanding》

1682
来自专栏AI2ML人工智能to机器学习

一个奇异值的江湖 -- 机器学习观

前面我们熟悉了经典统计处理outlier的方法。 这里会说明常见的机器学习的方法。

742
来自专栏LhWorld哥陪你聊算法

【机器学习】--集成算法从初始到应用

集成思想就是让很多个训练器决定一个结果,目的:让机器学习效果更好,单个不行,群殴走起。

552
来自专栏AI研习社

十个例子,教你用统计学方法高效完成机器学习项目

事实上,这两者的界限有时候非常模糊。然而有一些明显属于统计学领域的方法,不仅可用于机器学习的项目,并且极具价值。

802
来自专栏AI科技评论

论文 | Twitter在超分辨率技术上取得新进展,能还原打码图片

AI科技评论按:受到万众瞩目的ICLR已经于今天在法国土伦召开。该大会由Yann LeCun 、 Yoshua Bengio 等几位行业顶级专家于2013年发起...

3654
来自专栏机器之心

嘿嘿,想变成会跳舞的小哥哥或小姐姐吗?超简单!

作者:Caroline Chan、Shiry Ginosar、Tinghui Zhou、Alexei A. Efros

661
来自专栏计算机视觉战队

机器人也会画漫画

说到人工智能,大家第一想到的应该会是人脸识别,因为这也是最近出现最频繁的名词,手机、交通、安防等领域都涉及到了人脸识别技术,但是大家应该把眼光放远一些,就会看到...

3646
来自专栏AI科技评论

开发 | 你的机器学习模型为什么会出错?奉上四大原因解析及五条改进措施

对开发者来说,目前有一系列的机器学习模型可供选择。AI科技评论了解,可以用线性回归模型预测具体的数值,用逻辑回归模型对不同的运算结果进行归类,以及用神经网络模型...

3556

扫码关注云+社区