OpenAI发文怒怼:对抗样本怎么不会对检测产生干扰了?

安妮 编译自 OpenAI官方博客 量子位出品 | 公众号 QbitAI

上周,arXiv上的论文《NO Need to Worry about AdversarialExamples in Object Detection in Autonomous Vehicles》引起了广泛讨论。作者Jiajun Lu等4人在论文中表示,自动驾驶汽车的检测系统可能很难被抗样本干扰,因为它们捕捉到的图像是多尺度、多角度和多视角的。

论文地址:

https://arxiv.org/abs/1707.03501

如果你还不了解对抗样本,可以阅读量子位的两篇旧文:

想骗过人脸识别?一块钱就够了(附送几组骗AI的方法+论文)

可能对上述说法有些不服,昨天,OpenAI在官方博客中怒怼这个观点。量子位将OpenAI的“辩词”编译整理,与大家分享。

上面这只小猫用标准彩打机打印出后,无论将它怎么样缩放及旋转,仍会被分类器判定为显示屏或台式机。

OpenAI希望通过进一步参数调试,去掉任何人眼可见的人工修饰痕迹——

开箱即用的对抗样本在图像转换中确实不顶用了。

我们对上面这张猫咪图片做了一些小的改动,现在直接用ImageNet训练的Inception v3来分类,会被识别成台式电脑。但只要把它放大1.002倍,分类器将更可能将图片划分到正确标签tabby_cat(虎斑猫)——这就是一种不稳固的对抗样本。

视频内容

然而,我们想通过积极的尝试来找到稳固的对抗样本。因为已经有研究证明,物理世界中也有对抗样本。

《物理世界中的对抗样本》论文链接:

https://arxiv.org/pdf/1607.02533.pdf

尺度不变的对抗样本

通过投影梯度下降(Projected gradient descent)算法,可以找到能够欺骗分类器的微小扰动,我们可以通过这种优化方法来创建对抗样本。

我们不是为了找到从某个角度能够形成“对抗”的点来优化,而是面向一整套随机分类器,它们会在对输入进行分类前,随机调整它的尺寸。

这样优化,我们能够得到缩放不变(Scale-invariant adversarial examples)的,稳固的对抗样本。

视频内容

一个尺度不变对抗样本

即使我们只修正与猫咪对应的像素,也同样可以创造出一张无论怎样缩放都能呈现“对抗”的扰动图像。

转换不变的对抗样本

通过对训练扰动进行随机旋转、转换、缩放、噪声和平移,我们可以用同样的方法,生成无论怎样转换都呈现“对抗”的输入。

视频内容

以上是一个转换不变对抗样本(transformation-invariant adversarial example)。需要注意的是,这个样本明显比它的尺度不变样本的扰动更大。这也不难理解,直观上说,在转换不变的样本上,小对抗扰动更难察觉。

最后声明一下,测试时我们对转换进行了随机抽样,以此证明我们的示例对整个转换的分布是不变的。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-07-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

深度学习CNN眼中的图片是什么样的

2017年最后一天,无心学习。本来想休息下的,结果看到了一篇Paper叫《Visualizing and Understanding Convolutional...

3118
来自专栏深度学习入门与实践

【深度学习系列】迁移学习Transfer Learning

  在前面的文章中,我们通常是拿到一个任务,譬如图像分类、识别等,搜集好数据后就开始直接用模型进行训练,但是现实情况中,由于设备的局限性、时间的紧迫性等导致我们...

3375
来自专栏SIGAI学习与实践平台

OCR技术简介

同时在本微信公众号中,回复“SIGAI”+日期,如“SIGAI0515”,即可获取本期文章的全文下载地址(仅供个人学习使用,未经允许,不得用于商业目的)。

3175
来自专栏AI科技评论

学界 | 康奈尔大学说对抗样本出门会失效,被OpenAI怼回来了!

AI科技评论按:看来,我们还是不能对对抗样本问题掉以轻心。 上周,康奈尔大学的一篇论文表示,当图像识别算法应用于实际生活场景下(比如自动驾驶)时,可能不需要那么...

3328
来自专栏机器学习算法与理论

【一文读懂】机器学习

      看到很多人都有写博客的习惯,现在开始实习了,也把之前写过的东西整理整理,发在这里,有兴趣的同学可以一起交流交流。文笔稚嫩,希望大家宽容以待!   ...

3516
来自专栏来自地球男人的部落格

偏差(Bias)与方差(Variance)

1. 问题背景 NFL(No Free Lunch Theorem)告诉我们选择算法应当与具体问题相匹配,通常我们看一个算法的好坏就是看其泛化性能,但是对...

2889
来自专栏阅读笔记

CVRP 2017|DLP-CNN & center loss & Island loss

面部表情识别很大程度上依赖于定义好的数据集,然而这样的数据集往往存在着很多的限制。现有的面部表情数据集往往在严格控制的实验条件下,受试者和测试环境均不具有多样性...

2511
来自专栏机器之心

ECCV 2018 | 旷视科技提出统一感知解析网络UPerNet,优化场景理解

论文名称:《Unified Perceptual Parsing for Scene Understanding》

1792
来自专栏企鹅号快讯

基于视频的行人再识别新进展:区域质量估计方法和高质量的数据集

【导读】近日,针对基于视频的行人再识别中局部噪声大、数据集质量低的问题,来自商汤科技(SenseTime)、香港中文大学和北京航空航天大学的学者发表论文提出基于...

2756
来自专栏机器之心

嘿嘿,想变成会跳舞的小哥哥或小姐姐吗?超简单!

作者:Caroline Chan、Shiry Ginosar、Tinghui Zhou、Alexei A. Efros

791

扫码关注云+社区