学界 | 蒙特利尔大学Bengio团队携手多伦多大学带来最新成果:方差正则化对抗学习

AI科技评论消息,由多伦多大学与蒙特利尔大学的Karan Grewal、R Devon Hjelm、Yoshua Bengio三人近日合作发表的文章《Variance Regularizing Adversarial Learning》提出了一种方差正则化对抗学习方法(Variance Regularizing Adversarial Learning, VGAL)。相比以往的对抗生成网络(GAN),VGAL 可以使鉴别器具有更加平滑输出分布特性,并且在真样本分布与生成样本分布间设定一定的混叠区间,从而提升 GAN 的生成效果。

以下内容是 AI 科技评论根据论文内容进行的部分编译。

论文摘要

文章提出了一种新型的对抗训练模型,该算法将鉴别器评分方法设计成服从双模高斯分布的“真/生成”指标变量。为了实现这一设计,该团队使用原数据对抗训练(meta-adversarial)来使高斯分类器与目标双模分布模型相匹配。这种逼近方法可以保证分类器具有非零的下降梯度。通过与标准参照图像集对比,展现了这一分类器输出分布函数平滑的特性,并在“真/生成”模式间有一定的混叠。

生成对抗网络(GAN)是一种用来训练目标生成器的框架,主要针对没有明确定义的参数生成分布,以及没有可跟踪的似然函数等类型的问题。训练生产器依赖鉴别器发出的学习信号,使用相对简单的指标来区分生成样本的与真实样本。为了匹配真实的分布形式,生成器参数将由鉴别器定义的损耗优化至最大,通过类比使得生成器和鉴别器达到对立。

相比于最大似然估计的方法,生成对抗网络可以获得强大的识别能力并能够生成具有锋利、逼真边缘的高质量的图像。然而由于生成对抗网络高度依赖超参数调节以及参数化模型,使得其训练的稳定性备受质疑。因此近期关于生成对抗网络的研究主要集中在寻找其稳定性问题的根源等方向上。

提升生成对抗网络的稳定性的一条途径是利用 Lipshitz 约束,将几乎不可区分的样本赋予非同寻常的评分来避免鉴别器出现过拟合的情况。这一方法使用一个相对弱于常用的如 Kullback-Leibler 或 Jensen-Shannon 的辨别标准,这会使真数据集在低维支撑时的表现略有争议。Lipshitz 约束保证了数据压缩的形式以及由鉴别器的输出生成的平滑分布。这进一步保证了可以为生成器输入一个非零的训练信号。这一约束与传统生成对抗网络以及近期提出的最小二乘的生成对抗网络有所不同,后者的鉴别器是允许被随意强化,并且压缩输入使其在输出空间内具有接近离散的分布。

对于鉴别器内的强制平滑机制,其如何通过优化方法来影响生成器的质量目前仍未探明。此外,对Lipschitz 约束的测定目前还无法进行,因此利用平滑方法目前只能近似地通过辅助优化手段来实现诸如削减权重或者梯度惩罚的目标。

文章使用一种略微不同的方式来学习平滑的鉴别器函数,通过使用“真/生成”指示变量来训练高斯分类器,而不是惩罚鉴别器来使约束变成 non-Lipschitz 约束。这种取决于混合分量之间的混叠的优化方式能够给生成器一个弱标准,于是生成器的输出可稳定在真指示器变量所处的模式上。为了训练这样的分类器,文章提出了双小元数据鉴别器,每一个鉴别器都关联到生成项以及真数据模式上,并且每一个都是单变量、单位方差的高斯分布的采样。这种双元鉴别器训练时使用标准的生成对抗网络损耗,分类器通过训练可控制每一个元数据鉴别器,就像对抗生成器同时作用于每个元数据鉴别器一样。这种设计可以保证分类器输出模式间的混叠有一个平滑分布,且对于生成器是非零梯度的。文章通过大量标准图像集的训练验证了该方法有很好的效果。

图一,鉴别器输出直方图,包含真实样本(蓝色)和生成样本(红色),使用MNIST数据集,生成器更新周期内,鉴别器更新为50次。仅VRAL(文章提出)在两个分布间表现出明显的混叠。Proxy loss 及 BGAN 在整个真样本集上表现出高度支配的分布,并在生成样本分布上出现高峰值的情况。从结果上讲,VRAL 相比 WGAN 、 LSGAN 、 BGAN 和 标准 GAN 有显著的优势。

图二,多种 GAN 方法的鉴别器输出曲线与鉴别器梯度曲线对比。相比其他方法,论文提出的 VRAL 展示出平滑的判决边界。

图三,论文方法(VRAL)基于经典数据集的生成测试结果(所有模型的训练使用标准 DCGAN 架构并由 Adam 方法进行优化)。

论文地址 https://arxiv.org/abs/1707.00309,AI科技评论编译

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-07-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【机器学习】确定最佳聚类数目的10种方法

在聚类分析的时候确定最佳聚类数目是一个很重要的问题,比如kmeans函数就要你提供聚类数目这个参数,总不能两眼一抹黑乱填一个吧。之前也被这个问题困扰过,看了很多...

2857
来自专栏AI科技大本营的专栏

谷歌大脑深度学习从入门到精通视频课程[1.2]:前馈神经网络——激活函数

课程主要内容 回顾上一节课的内容。(P2) 神经网络中的四种激活函数的性质。(P3-P6) PPT 解释如下: P1. 首页 P2. 回顾上一节课的内容,主要...

2403
来自专栏PPV课数据科学社区

机器学习系列:(三)特征提取与处理

特征提取与处理 上一章案例中的解释变量都是数值,比如匹萨的直接。而很多机器学习问题需要研究的对象可能是分类变量、文字甚至图像。本章,我们介绍提取这些变量特征的方...

3558
来自专栏人工智能

用TensorFlow生成抽象图案艺术

QQ图片20180204220437.jpg

6885
来自专栏机器之心

教程 | 用TensorFlow Estimator实现文本分类

2894
来自专栏机器学习、深度学习

人群场景分析--Slicing Convolutional Neural Network for Crowd Video Understanding

Slicing Convolutional Neural Network for Crowd Video Understanding CVPR2016 h...

1867
来自专栏技术墨客

MNIST 机器学习入门(TensorFlow)

本文是为既没有机器学习基础也没了解过TensorFlow的码农、序媛们准备的。如果已经了解什么是MNIST和softmax回归本文也可以再次帮助你提升理解。在阅...

472

如何实现自然语言处理的集束搜索解码器

自然语言处理任务(例如字幕生成和机器翻译)涉及生成单词序列。

3198
来自专栏专知

深度学习文本分类方法综述(代码)

【导读】本文是数据科学家Ahmed BESBES的一篇博文,主要内容是探索不同NLP模型在文本分类的性能,围绕着文本分类任务,构建当前主流的七种不同模型:用词n...

1173
来自专栏大数据挖掘DT机器学习

NLP真实项目:利用这个模型能够通过商品评论去预测一个商品的销量

前言 由于是日语项目,用到的分词软件等,在中文任务中需要替换为相应的中文分词软件。例如结巴分词 : https://github.com/fxsjy/jieb...

37211

扫描关注云+社区