LeCun 提出基于能量的生成对抗网络,ICLR-17 重新审视 GAN

【新智元导读】LeCun对对抗生成网络(GAN)的盛赞大家都很熟悉了。在这篇新的论文中,LeCun等人将两类无监督学习方法——GAN和自编码器结合在一起,并从替代能源的角度重新审视GAN的框架。

LeCun的这篇最新论文介绍了“基于能量的生成对抗网络”模型(EBGAN),其将鉴别器视为能量函数,将低能量归属于靠近data manifold的区域并将更高能量归因于其他区域。类似于概率GAN,发生器被视为用于训练产生带有最小能量的对比样本,而鉴别器被训练以将高能量分配给这些产生的样本。 将鉴别器视为能量函数允许使用各种架构和损耗函数,作为具有逻辑输出的一般的二元分类器的补充。其中,LeCun等人使用自动编码器架构的一个EBGAN框架的实例(能量是重建误差),代替了鉴别器。展示了这种形式的EBGAN在训练期间可以表现出比常规GAN更稳定的行为。论文还展示了,单一规模的体系结构可以训练生成高分辨率的图像。

基于能量的模型

基于能量的模型(LeCun et al,2006)的本质是建立一个函数,将输入空间的每个点映射到一个单一的标量,称为“能量”。 学习阶段是数据驱动的过程,其以这样的方式使能量表面成形,使得期望的配置获得低能量分配,而不正确的配置被给予高能量。 监督学习属于这个框架:对于训练集中的每个X,当Y是正确的标签时,(X,Y)的能量取较低的值,而对于不正确的Y,则取值较高。 类似地,当在无监督学习设置中单独为X建模时,较低的能量归因于data manifold。 对比样本这一术语常常用于指引起能量上拉的数据点,例如在监督学习中的不正确的Y和来自无监督学习的低数据密度区域上的点。

生成对抗网络(GAN)

生成对抗网络(GAN)(Goodfellow et al.,2014)已经导致了图像生成的显著改善(Denton等,2015; Radford等,2015; Im等,2016; Salimans等,2016),也惠及到视频预测(Mathieu等,2015)和其他一些领域。 GAN的基本思想是同时训练鉴别器和发生器。训练鉴别器以将数据集的真实样本与由发生器产生的假样本区分开。发生器使用来自易于取样的随机源的输入,并且训练产生鉴别器不能与真实数据样本区分的假样本。在训练期间,发生器接收鉴别器相对于假样本的输出的gradient。在Goodfellow等人的GAN的原始公式中(2014)中,鉴别器产生概率,并且在某些条件下,当由发生器产生的分布匹配原始数据分布时,发生收敛。从博弈论的角度来看,当发生器和鉴别器达到纳什均衡时,GAN实现收敛。

EBGAN:基于能量的生成式对抗网络

论文提出将鉴别器视为没有显式概率解释的能量函数(或对比函数)。 由鉴别器计算的能量函数可以被视为发生器的可训练成本函数。 训练鉴别器以将低能量值分配给高数据密度区域,高能量值分配到高数据密度区域外 。 相反,发生器可以被视为可训练的参数化函数,其在发生器分配低能量的空间的区域中产生样本。 虽然通常可以通过吉布斯分布将能量转换为概率(LeCun等人,2006),但是在这种基于能量的GAN中,不进行归一化在选择鉴别器结构和训练进程方面提供了更大的灵活性 。

GAN的原始公式中的概率二进制鉴别器可以被看作许多用于定义对比度函数和损失函数的方式中的一种,如LeCun等人 (2006)的监督和弱监督设置,和Ranzato et al.(2007)的无监督设置。 论文实验性地展示了这个概念,其中设置是鉴别器为自动编码器架构,而能量是重建误差。

LeCun的这篇论文联接了两类无监督学习方法 - GAN和自动编码 - 并从替代能源的角度重新审视GAN框架。 EBGAN显示更好的收敛模式和生成高分辨率图像的可扩展性 。 LeCun等人提出的一系列基于能量的损失函数 (2006)可以很容易地纳入EBGAN框架。 作为未来的工作,条件设置(Denton等人,2015; Mathieu等人,2015)有待探索。 论文作者希望未来的研究可以从能量的角度,更多地关注广义上的GAN。

论文地址:https://arxiv.org/abs/1609.03126v3

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-02-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

资源 | 生成对抗网络及其变体的论文汇总

选自Deephunt 作者:Avinash Hindupur 参与:黄小天、蒋思源 生成对抗网络(GAN)是近段时间以来最受研究者关注的机器学习方法之一,深度学...

35950
来自专栏xingoo, 一个梦想做发明家的程序员

吴恩达机器学习笔记 —— 7 Logistic回归

有的时候我们遇到的问题并不是线性的问题,而是分类的问题。比如判断邮件是否是垃圾邮件,信用卡交易是否正常,肿瘤是良性还是恶性的。他们有一个共同点就是Y只有两个值{...

8300
来自专栏一心无二用,本人只专注于基础图像算法的实现与优化。

<<一种基于δ函数的图象边缘检测算法>>一文算法的实现。

  原始论文下载: 一种基于δ函数的图象边缘检测算法。      这篇论文读起来感觉不像现在的很多论文,废话一大堆,而是直入主题,反倒使人觉得文章的前后跳跃有点...

26450
来自专栏新智元

不可错过的 GAN 资源:教程、视频、代码实现、89 篇论文下载

【新智元导读】这是一份生成对抗(神经)网络的重要论文以及其他资源的列表,由 Holger Caesar 整理,包括重要的 workshops,教程和博客,按主题...

896100
来自专栏机器学习实践二三事

再看CNN中的卷积

这两天在看CS231n的课程笔记,结合着原版英文和知乎上中文版翻译在看,确实Andrej Karpathy写的很棒,很多都是些实践经验不仅仅是理论知识. 我结合...

218100
来自专栏GAN&CV

训练GAN的16个trick

本文转载自:https://mp.weixin.qq.com/s/d_W0O7LNqlBuZV87Ou9uqw 新智元公众号 本文来自ICCV 20...

38720
来自专栏编程

FPGA图像处理之rgbtogray算法的实现

FPGA图像处理之rgbtogray算法的实现 作者:lee神 1.背景知识 在正是入题之前先给大家讲解一下gray图像,YUV图像以及Ycbcr图像。 Gra...

43440
来自专栏机器之心

资源 | 生成对抗网络新进展与论文全集

选自GitHub 参与:蒋思源、吴攀 生成对抗网络(GAN)是近段时间以来最受研究者关注的机器学习方法之一,深度学习泰斗 Yann LeCun 就曾多次谈到 这...

401110
来自专栏大数据风控

评分卡模型开发-用户数据缺失值处理

在我们搜集样本时,许多样本中一般都含有缺失值,这种情况在现实问题中非常普遍,这会导致一些不能处理缺失值的分析方法无法应用,因此,在信用风险评级模型开发的第一步我...

303100
来自专栏Deep learning进阶路

深度学习论文(八)---DeepLabV1-SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED C

注:本篇算是半讲解半翻译吧,我真的觉得这篇论文写的很难理解.......可能是我水平不够,也可能作者省略了一些具体信息,主要是提供了他的idea吧。 但是De...

1K10

扫码关注云+社区

领取腾讯云代金券