首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

虚拟对抗训练:一种新颖的半监督学习正则化方法

特约作者 | 曹凯 本文介绍一种名叫Virtual Adversarial Training (VAT) [1]的方法,是一种对于给定条件标签分布 的数据度量该分布局部光滑性的一种方法。...与Goodfellow提出的监督学习对抗方法adversarial training[2]不同的是,VAT找的方向是能使预测的输出分布偏离现状的方向,而adversarial training找的是使模型预测最大地偏离正确...对抗训练 要讲VAT,首先要从Goodfellow的adversarial training开始,其损失函数为: 其中, 是一个非负度量函数,度量分布 之间的距离,比如交叉熵,我们可以称 是对抗的扰动...对于adversarial training来说, 是真实label 的one-hot编码向量 。...Virtual adversarial training: a regularization method for supervised and semi-supervised learning. arXiv

2.5K20
您找到你想要的搜索结果了吗?
是的
没有找到

OpenAI 研究员:数据不足时,如何实现监督学习

,对抗性训练(Adversarial Training)将对抗性噪声应用到输入上,并训练模型使其对此类对抗性攻击具有鲁棒性。...Miyato 等人在2018年发表的论文《虚拟对抗性训练:对监督和半监督方法都适用的正则化方法》(Virtual Adversarial Training: A Regularization Method...for Supervised and Semi-Supervised Learning)中提出虚拟对抗性训练(Virtual Adversarial Training,VAT),该方法是对抗性训练思想在半监督学习领域的一个延伸...“Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning.” ...“Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks.”

71611
领券