学习
实践
活动
工具
TVP
写文章

对抗训练

对抗训练 对抗训练是防御对抗样本攻击的一种方法。将对抗样本和正常样本一起训练是一种有效的正则化,可以提高模型的准确度,同时也能有效降低对抗样本的攻击成功率。 不过这种防御也只是针对同样用来产生训练集中的对抗样本的方法。 探索网络对底层任务的理解层次,通过对抗训练减少原有独立同分布的测试集的错误率——在对抗扰动的训练集上训练网络 对抗样本的定义和产生 从2013年开始,深度学习模型在多种应用上已经能达到甚至超过人类水平 其中一种错误叫对抗样本(adversarial examples)。 对抗样本指的是一个经过微小调整就可以让机器学习算法输出错误结果的输入样本。 简单的理解就是给样本加一些噪声扰动让其分错 对于图像方面比如更改图像的像素值让他分错~ 高效的生成对抗样本 见http://www.360doc.com/content/18/0315/19/99071

9330

对抗训练(CS)

最近,物理世界的对抗性攻击暴露了感知系统的漏洞,这些漏洞对安全至关重要的应用程序(如自动驾驶)构成严重风险。 这些攻击在物理世界中放置了对抗伪影,间接导致模型输入的普遍扰动的增加,从而在各种环境中欺骗模型。对抗训练对抗形象依赖性对抗性攻击的最有效的防御手段。 然而,根据普遍摄动裁剪对抗训练在计算上是昂贵的,因为最优的普遍摄动依赖于在训练过程中变化的模型权值。 我们提出了将对抗训练与元学习相结合的元对抗训练(MAT),它通过模型训练和元学习的普遍扰动来克服这一挑战。MAT需要很少额外的计算,同时不断地使大量扰动适应于当前模型。

19200
  • 广告
    关闭

    2022腾讯全球数字生态大会

    11月30-12月1日,邀您一起“数实创新,产业共进”!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    弥合对抗训练(CS)

    对抗性鲁棒性被认为是深度神经网络的必备特性。在本研究中,我们发现对抗训练模型在边际和平滑度方面可能有显著不同的特征,即使它们表现出相似的鲁棒性。 在此基础上,我们提出了一种新的方法,即桥接对抗训练,通过弥合干净例子和对抗例子之间的差距来减轻负面影响。我们提供了理论和经验证据,提出的方法提供了稳定和更好的鲁棒性,特别是大摄动。 弥合对抗训练.pdf

    13600

    论文阅读:对抗训练(Adversarial Training)

    对抗训练的过程中,样本会被混合一些微小的扰动(改变很小,但是很可能造成误分类),然后使神经网络适应这种改变,从而对对抗样本具有鲁棒性。 在图像领域,采用对抗训练通常能提高鲁棒性,但是通常都会造成泛化性降低,也就是说,虽然对对抗样本的抵抗力提升了,但是有可能影响普通样本的分类能力。 神奇的是,在语言模型领域却观察到不一致的结果——对抗训练既提高了鲁棒性也提高了泛化性。所以对抗训练还值得研究一下,毕竟对效果也是有提升的。 我们首先来看一下对抗训练的一般性原理,对抗训练可以概括为如下的最大最小化公式: ? image.png 2. FGSM/FGM方法 image.png 3. 这里存在一个小小的麻烦,就是普通训练的方式和PGD对抗训练的方式稍微有些不同。

    2.7K20

    虚拟对抗训练:一种新颖的半监督学习正则化方法

    满足光滑的情况下,如果对抗样本相比于原样本变化(某种度量下)很小,那么标签应该也不会有太大变化。 优点:VAT在对抗训练的时候,不需要标签信息,所以可以应用于无监督学习。 我们可以称目前模型预测的label是虚拟label(virtual)。 二、方法 一些符号定义 ? 表示输入向量,维度是 ? ; ? 表示输出标签, ? 是标签空间;输出分布 ? 表示某一步训练之后的模型参数; ? 表示有标签的数据集; ? 表示无标签的数据集。我们使用 ? 和 ? 训练模型 ? 。 对抗训练 要讲VAT,首先要从Goodfellow的adversarial training开始,其损失函数为: ? 其中, ? 是一个非负度量函数,度量分布 ? 很明显,对抗方法找到的扰动方向,比随机找一个扰动是要来的好的。 虚拟对抗训练:VAT 那么如果训练样本没有标签,或者有一部分数据没有标签怎么办呢?VAT就是要解决这样一个问题。 我们把 ?

    2.1K20

    ABPR: 利用对抗训练技术增强的BPR

    今天跟大家分享的论文是ABPR,即利用对抗训练技术增强模型泛化能力的BPR。 ? 动机 众所周知,计算机视觉领域的对抗样本(带有微小的、非随机的有意为之的扰动样本)可以使得模型以较高的置信度把样本分类错误[5]。 那么,对于推荐系统领域来说,是否对抗性样本可以使得模型的推荐性能下降呢。作者通过对比试验给出了答案。 通过观察上图发现,添加对抗扰动的性能要比添加随机噪声的性能下降的快很多,这就从侧面放映了BPR模型的泛化性能弱,并且容易受到参数的对抗性干扰,也侧面揭示了使用BPR进行训练的弱点。 最终把对抗扰动应用到BPR框架的示意图如下图所示,可见基本上和传统的BPR模型一致,只不过增加了对于用户/项目嵌入向量的对抗扰动,最终使得模型的泛化性能增强。 ? 参考文献 [1].

    42210

    NLP 中的对抗训练(附 PyTorch 实现)

    对抗样本的基本概念 要认识对抗训练,首先要了解 "对抗样本",它首先出现在论文 Intriguing properties of neural networks 之中。 对抗样本一般需要具有两个特点: 相对原始输入,所添加的扰动是微小的 能使模型犯错 对抗训练的基本概念 GAN 之父 lan Goodfellow 在 15 年的 ICLR 中第一次提出了对抗训练的概念, ,介绍了对抗训练的数学定义,并对于两种经典的对抗训练方法,提供了插件式的实现,做了简单的实验对照。 另外还有一些对抗训练算法,读者有兴趣可以查看一文搞懂 NLP 中的对抗训练以及对抗训练的理解,以及 FGM、PGD 和 FreeLB 的详细介绍这两篇文章 References Adversarial 中的对抗训练 + PyTorch 实现 一文搞懂 NLP 中的对抗训练 关于 Adversarial Training 在 NLP 领域的一些思考

    1.5K50

    对抗训练正在“危害”机器人应用

    最著名的防御方法之一是“对抗训练”,这是一个根据对抗性例子对先前训练过的深度学习模型进行微调的过程。在对抗训练中,程序生成一组被目标神经网络错误分类的对抗性例子。 然后,神经网络根据这些例子和它们的正确标签进行再训练。在许多对抗性的例子上微调神经网络将使它在面临对抗性攻击时更加稳健。 对抗训练会导致深度学习模型预测的准确性轻微下降。 换句话说,虽然对抗训练提高了基于视觉的分类任务中深度学习模型的稳健性,但在机器人学习中会引入新的错误。 2 机器人应用中的对抗训练 假设你有一个训练有素的卷积神经网络,想用它对一堆图像进行分类。 研究人员用三种不同水平的对抗训练测试了视频处理神经网络。他们的研究结果表明,随着对抗训练水平的提高,神经网络的准确性显著下降。 对机器人的视觉神经网络进行对抗性例子的训练,以增强其对对抗性攻击的稳健型。 对抗训练视觉网络的行为与我们通常理解的‘健壮性’完全相反。例如,机器人偶尔会在没有操作员明确指令的情况下打开或关闭。

    32241

    微软ALUM:当语言模型遇到对抗训练

    /namisan/mt-dnn Arxiv访问困难的同学可以后台回复『0001』可便捷获取论文喔 TL;DR 本文把对抗训练用到了预训练和微调两个阶段,对抗训练的方法是针对embedding space 有趣的是,这种对抗训练方法不仅能够在BERT上有提高,而且在RoBERTa这种已经预训练好的模型上也能有所提高,说明对抗训练的确可以帮助模型纠正易错点。 重复第3步直到达到第2步设定的subword词表大小或下一个最高频的字节对出现频率为1 模型:ALUM image.png 算法 首先使用标准目标(1)训练模型;然后使用虚拟对抗训练(3)继续训练。 结合对抗训练对抗微调 之前都是在预训练阶段做的对抗,ALUM RoBERTa-LARGE-SMART在预训练和微调阶段均做对抗。 ? ? 结论 提出了一种通用的对抗训练算法ALUM: 对抗训练可以显著提高泛化能力和鲁棒性。

    54320

    利用超球嵌入来增强对抗训练

    利用超球嵌入来增强对抗训练 这次介绍一篇NeurIPS2020的工作,"Boosting Adversarial Training with Hypersphere Embedding",一作是清华的Tianyu 该方法和现有的一些对抗训练的变种是正交的,即可以互相融合提升效果。 这里指的对抗训练的变种有 ALP, TRADE 等 对抗训练框架 首先,如下图所示,我们列出来AT以及其变种,用粉色标识出来其训练目标的差异 image.png image.png image.png 更强的对抗攻击:https://github.com/Line290/FeatureAttack 其实这里的motivation并不充分,给的理由仍然不够有力 image.png image.png

    18310

    仅使用少量数据训练生成对抗网络

    摘要: 和昨天的推文一样,同样是一篇研究在少量样本下,训练生成对抗网络的论文。 尤其在将生成对抗网络应用到一个新的领域(无任何其他可供参考的数据集)的时候,本文更难得到大量高质量数据集。 在小数目上的数据集上训练生成对抗网络的难点在于:判别器网络很容易在训练数据集上过拟合。 GAN中的过拟合现象 要想科学的研究生成对抗网络中的过拟合现象,本文首先研究了用什么数量规模的训练数据集能够支持GAN的训练。 注意(a)图中的黑色点,该点代表生成对抗网络生成的图像质量最优。本文可以看出:训练数据越少,网络的生成图像质量越差;训练时故居越少,生成对抗网络的崩溃点来的越早。 本文同时还比较了从头训练的生成对抗网络和基于预训练模型的生成对抗网络不同的生成效果。 5.1 从头训练的GAN ?

    1.4K30

    牛津大学出品:随机噪声对抗训练

    ▊ 1 引言 该论文出自于牛津大学,主要是关于对抗训练的研究。 目前已经有研究表明使用单步进行对抗训练会导致一种严重的过拟合现象,在该论文中作者经过理论分析和实验验证重新审视了对抗噪声和梯度剪切在单步对抗训练中的作用。 作者发现对于大的对抗扰动半径可有效避免过拟合现象。基于该观察结果,作者提出了一种随机噪声对抗训练,实验表明该方法不仅提供了单步对抗训练的减少计算开销的好处,而且也不会受到过拟合现象的影响。 对抗训练在数据集上修正类别训练进程并最小化损失函数,其中对抗训练的目标为: 其中是图片分类器的交叉熵损失函数。 ▊ 3 N-FGSM对抗训练 在进行对抗训练时,一种常见的做法是将训练期间使用的干扰限制在范围。其背后原理是,在训练期间增加扰动的幅度可能不必要地降低分类精度,因为在测试时不会评估约束球外的扰动。

    13430

    对抗训练的理论工作添砖加瓦:选择核心子集进行训练,大大缩短训练时间

    防御对抗样本攻击一个直观有效的方式就是对抗训练比如Free adversarial training 和Fast adversarial training,但问题是对抗训练比正常的训练要慢,主要原因在于对抗训练需要模型格外引入对抗样本进行训练 ,另外对抗训练的理论基础还不够扎实。 在该论文中作者为对抗训练的理论工作添砖加瓦,作者提出了一种在训练集中寻找核心子集的方法,并在该核心子集中进行对抗训练,它可以自适应于当前的一些对抗训练的方法并能大大缩短训练时间。 将正常训练的目标函数与对抗训练的目标函数进行整合可以得到对抗训练的目标函数为 其中为正则化参数。 可以直观的发现,在与全数据集进行对抗训练的模型相比,经过本文提出的对抗训练方法在损失较小的分类精度的情况下,大大缩短了时间能耗。

    15870

    利用tensorflow训练简单的生成对抗网络GAN

    对抗网络是14年Goodfellow Ian在论文Generative Adversarial Nets中提出来的。 原理方面,对抗网络可以简单归纳为一个生成器(generator)和一个判断器(discriminator)之间博弈的过程。 GAN的训练  需要注意的是生成模型与对抗模型可以说是完全独立的两个模型,好比就是完全独立的两个神经网络模型,他们之间没有什么联系。那么训练这样的两个模型的大方法就是:单独交替迭代训练。 因为是2个网络,不好一起训练,所以才去交替迭代训练,我们一一来看。    所以对于生成网络的训练其实是对生成-判别网络串接的训练,就像图中显示的那样。

    30630

    做更好的“教练”,用对抗训练增强“知识追踪”

    为了解决上述问题,作者受对抗训练(Adversarial Training)的启发,将KT与AT结合,通过AT来增加KT模型的鲁棒性和泛化性。 作者提出了ATKT,通过联合训练原始输入和相应的对抗样本来增强KT模型的泛化能力。为了更好地实现 AT,作者引入了一个高效的attentive-LSTM模型作为KT的主干。 最后用对抗特征表示和原始特征表示联合训练模型。 上表反映了有无对抗训练对测试集上Average AUC scores的影响,可以看出对抗训练的有效性。 ▊ Conclusion 本文提出了一种基于对抗训练的KT,增加了模型鲁棒性和泛化性能的同时提高了模型性能。 END

    10120

    【NLP】一文搞懂NLP中的对抗训练

    本文主要串烧了FGSM, FGM, PGD, FreeAT, YOPO, FreeLB, SMART这几种对抗训练方法,希望能使各位大佬炼出的丹药更加圆润有光泽,一颗永流传 简介 对抗训练是一种引入噪声的训练方式 用一句话形容对抗训练的思路,就是在输入上进行梯度上升(增大loss),在参数上进行梯度下降(减小loss)。 只不过PGD只使用了最后一步x+r输出的梯度,而FreeLB取了每次迭代r输出梯度的平均值,相当于把输入看作一个K倍大的虚拟batch,由[X+r1, X+r2, ..., X+rk]拼接而成。 SMART提出了两种对抗正则损失,加到损失函数中: 第一种参考了半监督对抗训练对抗的目标是最大化扰动前后的输出,在分类任务时loss采用对称的KL散度,回归任务时使用平方损失损失: 第二种方法来自DeepMind 知乎:加速对抗训练——YOPO算法浅析

    1.6K10

    学界 | 精准防御对抗性攻击,清华大学提出对抗正则化训练方法DeepDefense

    选自arXiv 作者:Ziang Yan等 机器之心编译 参与:刘晓坤、黄小天 本文提出了一个名为 DeepDefense 的训练方案,其核心思想是把基于对抗性扰动的正则化项整合进分类目标函数,从而使模型可以学习直接而精确地防御对抗性攻击 基于该解释,他们设计了一种高效的线性扰动,并在进一步研究中将其结合到对抗训练中 [32],以优化正则化效果。 然而,和某些以前提出的基于正则化的方法类似 [8],Parseval 训练法需要对其理论最优约束做一些近似,限制了其对非常强的对抗攻击的有效性。 最近工作已表明不可感知的扰动图像输入(即对抗样本)存在欺骗良好训练的 DNN 模型做出任意预测的可能性。 为解决这一问题,我们提出了一个名为 DeepDefense 的训练方案,其核心思想是把基于对抗性扰动的正则化项整合进分类目标函数,从而使模型可以学习直接而精确地防御对抗性攻击。

    64880

    机器学习理论 | 大型神经语言模型的对抗训练

    ---- 3 ALUM(大型神经语言模型的对抗训练) 在本节中,我们首先提出了关于标准训练目标和对抗训练先验方法的统一观点。 虽然对抗训练在减轻对抗性攻击方面取得了成功,但过去的工作往往会遇到泛化性和鲁棒性之间的明显冲突,因为对抗训练可能会损害泛化性能。 3.3 ALUM 算法 ALUM适用于预训练和微调。 第二,不采用 Eq.(2) 的对抗训练目标,而是采用虚拟对抗训练使标准目标得以正规化: 实际上,对抗性项有利于嵌入邻域中的标签平滑性, 是一个超参数,它控制标准误差和鲁棒误差之间的权衡。 我们发现虚拟对抗训练优于传统的对抗训练,特别是当标签可能有噪音时。 在ERNIE [4] 和其他持续预训练方法的启发下,我们采用了一种课程学习方法:首先使用 Eq.(1) 的标准目标训练模型;然后继续进行 Eq.(3) 的虚拟对抗训练

    35730

    作为Stackelberg游戏的对抗训练:展开式优化方法(CS)

    对抗训练已经显示出可以在各种自然语言处理任务中提高深度学习模型的泛化性能。现有的作品通常将对抗训练定义为零和游戏,这可以通过交替的梯度下降/上升算法来解决。 为了解决这个问题,我们提出了Stackelberg对抗训练(SALT),将对抗训练公式化为Stackelberg游戏。 这种表述引起了领导者和跟随者之间的竞争,其中跟随者产生了扰动,并且领导者训练了受扰动的模型。与常规对抗训练不同,在SALT中,领导者处于有利位置。 我们在一组机器翻译和自然语言理解任务上的实验结果表明,SALT在所有任务上均优于现有的对抗训练基准。 作为Stackelberg游戏的对抗训练:展开式优化方法.pdf

    32120

    扫码关注腾讯云开发者

    领取腾讯云代金券