深度学习对抗样本的八个误解与事实

【编者按】在kdnuggets此前发布的文章(Deep Learning’s Deep Flaws)’s Deep Flaws中,深度学习大神Yoshua Bengio和他的博士生、Google科学家Ian Goodfellow在评论中与作者就深度学习对抗样本(Adversarial Examples)展开了热烈的讨论,kdnuggets编辑邀请Ian Goodfellow撰文详解他的观点以及他在这方面的工作,后者允诺成此文。CSDN将其翻译如下,以飨读者。

到现在为止,几乎所有的输入都可以愚弄对象识别模型。以至于当对象识别正确工作的时候我们都无比惊讶。今天,通过一些基准测试测量,对象识别算法的识别能力已经达到人类的水准了,让我们感到惊讶的是,在非正常的输入情况下,对象识别却表现得不尽人意。

对抗样本是通过稍微修改实际样本而构造出的合成样本,以便于一个分类器以高置信度认为它们属于错误的分类。垃圾类的样本(如fooling images)是病态样本,即使它们不属于任意一个类,分类模型也会把它们以高置信度划分到某一个类别中去。

一个对抗样本,修改一张熊猫的图片,让机器学习模型将它识别成一只长臂猿。

使用32位浮点值作为网络的输入来执行修改,这个改变是如此的小以至于不会改变出版图像的8位表示。更多细节请参考这篇论文。

这些错误抓住了公众的想象力。在兴奋之余,关于对抗样本的一些误解已经广泛传播。在这篇博客中,我列出了其中的一些误解。

1. 神话:对抗样本并不重要,因为它们不会出现在实践中。

事实:的确,对抗样本不太可能自然发生。然而,对抗样本至关重要,因为训练一个模型来抵制它们,可以提高其非对抗样本的准确性。对抗样本也可能在实践中发生,如果它们的确是对抗性的。例如垃圾邮件发送者试图骗过垃圾邮件检测系统。

训练一个网络来正确分类对抗样本,降低它在训练数据集上的错误率,即使测试数据集的样本没有被扰动。这种技术提升了在MNIST数据集上的艺术状态。

2. 神话:深度学习比其他类型的机器学习更容易受到对抗样本的干扰。

事实:到目前为止,我们已经能够为我们测试过的每一个模型生成对抗样本,包括像最邻近这样的最传统的机器学习模型。深度学习是目前为止对对抗训练最有抵抗性的技术。

3. 神话:对抗样本是由极度非线性深度模型导致。

事实:我们最近的实验表明,深度模型的表现是非常线性的。线性模型在外推远离训练数据的区域有着极度的优势。这也解释了对抗性和垃圾分类样本中发生的很多错误。

我们可以描绘出一个输入空间中的线性路径,通过对一张清晰的汽车图像添加不同的对抗性微扰。这里,我们将比例因子范围从-10到+10来绘制出这条线性路径。我们看到,网络的logits输出在远离数据的地方表现为线性。这将导致网络的预测变得极端,垃圾类输入数据以高置信度归为有意义分类。

4. 神话:对抗样本在小数据中很难找到或发生。

事实:空间中的大多数任意点都被误判。例如,我们测试的一个网络,把大约70%的噪声样本以高置信度归类为马。

5. 神话:我们能做到最好的是识别和拒绝处理对抗样本。

事实:拒绝处理对抗样本比将它错误分类要好,不过这不是一个令人满意的解决方案。如果真是一个对抗样本,如垃圾邮件发送者,对抗样本仍然可以通过产生系统拒绝分类的样本而占优势。我们知道这可能是正确分类的对抗样本,因为人们不会被它们迷惑,这也是我们设计模型的目标。

6. 神话:攻击者必须访问到模型才能产生对抗样本。

事实:对抗样本在整个网络中扩散,用来训练执行相同的任务,即使这些模型有不同的架构,由不同训练数据集训练。这意味着攻击者可以训练自己的模型,产生对抗模型来对抗目标模型,然后将这些对抗样本部署到他们不能访问的模型中。

7. 神话:对抗样本可以很容易地用标准正则化技术解决。

事实:我们已经测试了几种传统的正则化策略,包括均化多重模型,均化图像多采样观测(multiple glimpses),用时延权重或噪声训练模型,通过生成模型的推断进行分类,结果均以失败告终。

8. 神话:没人知道人脑是否也会犯相似的错误。

事实:神经学家和心理学家通常研究幻觉和认知偏差。虽然我们无法进入我们的大脑,但是我们可以确认我们没有像现代机器学习那样被同一种对抗样本所影响。如果我们的大脑和机器学习模型一样犯了同样的错误,那么由于交叉模型的泛化属性,机器学习模型的对抗样本将会使我们产生视觉错乱。

总之,对抗样本是一个顽固的问题,研究如何克服它们可以帮助我们避免潜在的安全问题,并且会让机器学习算法对所要解决的问题有一个更准确的了解。

作者简介:Ian Goodfellow是谷歌的一位研究科学家。他于2014年在蒙特利尔大学获得了机器学习博士学位,师从Yoshua Bengio。学士学位与硕士学位在斯坦福大学获得。

关于译者: 刘翔宇,中通软开发工程师,关注机器学习、神经网络、模式识别。


【预告】首届中国人工智能大会(CCAI 2015)将于7月26-27日在北京友谊宾馆召开。机器学习与模式识别、大数据的机遇与挑战、人工智能与认知科学、智能机器人四个主题专家云集。人工智能产品库将同步上线,预约咨询:QQ:1192936057。欢迎关注。

大会官网:www.ccai2015.org

原文发布于微信公众号 - 人工智能头条(AI_Thinker)

原文发表时间:2015-07-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

称霸Kaggle的十大深度学习技巧

在各种Kaggle竞赛的排行榜上,都有不少刚刚进入深度学习领域的程序员,其中大部分有一个共同点:

1661
来自专栏AI科技评论

CVPR 2018 中国论文分享会之 「GAN 与合成」

AI 科技评论按:2018 年 5 月 11 日,由微软亚洲研究院、清华大学媒体与网络技术教育部-微软重点实验室、商汤科技、中国计算机学会计算机视觉专委会、中...

1332
来自专栏AI科技大本营的专栏

机器如何学习?5分钟弄懂监督学习、无监督学习、半监督学习与强化学习

导读:不知道你有没有这样的感受,想学点人工智能,却被一大堆名词吓坏? 想看点直白的说人话的简单介绍,却被各种绕来绕去的语言弄昏头? 没关系,本文就试图以最简单的...

5297
来自专栏AI科技评论

学界 | 腾讯AI Lab 20篇论文入选NIPS2018,含2篇Spotlight

被誉为神经计算和机器学习领域两大顶级会议之一的NIPS于近日揭晓收录论文名单,此次为第32届会议,将于 12 月 3 日至 8 日在加拿大蒙特利尔举办。

1072
来自专栏ATYUN订阅号

【学术】以精确性来提高对机器学习的信任

传统的机器学习工作流程主要集中在模型训练和优化上,最好的模型通常是通过像精确或错误这样的性能度量来选择的,我们倾向于假定一个模型如果超过了这些性能标准的某些阈值...

2957
来自专栏CVer

[计算机视觉论文速递] 2018-03-07

通知:这篇推文有18篇论文速递信息,涉及目标检测、图像分割和GAN等方向。 [1]《A new stereo formulation not using pix...

5069
来自专栏人工智能头条

10分钟看懂全卷积神经网络( FCN ):语义分割深度模型先驱

今天是10月24日,既是程序员节,也是程序员感恩节。这一天,大家纷纷向那些无私奉献、一心为民的好人们,送出“好人一生平安”的美好祝愿。而“1024”,既是这一句...

1861
来自专栏PPV课数据科学社区

主编推荐 | 学会数据分析背后的挖掘思维,分析就完成了一半!

主编推荐:通过言简意赅的语言把数据挖掘的原理、建模过程、数据分析和数据挖掘关系说的比较清楚,适合入门者了解相关概念。 正文如下: 在数据分析中,模型是非常有用和...

3206
来自专栏AI科技大本营的专栏

撕起来了!谁说数据少就不能用深度学习?这锅俺不背!

作者 | Andrew L. Beam 编译 | AI100 撕逼大战,从某种角度,标志着一个产业的火热。 最近,大火的深度学习,也开始撕起来了。 前几日,有一...

4927
来自专栏腾讯高校合作

NIPS2018 | 腾讯AI Lab入选20篇论文,含2篇Spotlight

被誉为神经计算和机器学习领域两大顶级会议之一的NIPS于近日揭晓收录论文名单,此次为第32届会议, 12 月 3 日至 8 日在加拿大蒙特利尔举办。 腾讯AI...

731

扫码关注云+社区

领取腾讯云代金券