专栏首页计算机视觉对抗网络2019-2020速览

对抗网络2019-2020速览

Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow.(ICLR 2019高分论文) 首先讲一下需要了解的知识: A.信息瓶颈 他的原理是,在信息传播过程中,设置一个瓶颈,通过这个瓶颈的信息是有限的,然而仅用这些有限的信息还要完成分类或者回归的任务,所以流过瓶颈的这些“有限的信息”肯定是最重要,少而精的。通过信息瓶颈,可以获取到重要特征。 B.互信息 三种理解1)互信息度量 x 和 y 共享的信息。2)y的发生给x的不确定度的减少,也就是x如果发生能够带来的信息量减少了。就好比扔骰子,y是扔出偶数,x是扔出6。原本x能带来的信息量比发生y后要多,而这部分减少的信息量叫做互信息。3)如下图所示,A和B的交,I(X,Y)表示为互信息。

互信息.png

问题:作者先提出了一个gan训练过程中经常会遇到的问题,当判别器训练得不好的时候,会导致生成器得不到准确的指导信息,而当判别器训练得太好的时候,会导致生成器出现梯度学习的问题。这篇文章想要解决的问题是判别器学习的太好怎么办。

为了解决这个问题,常见的解决思路有两种:

(1)引入误差:通常在隐藏层加入误差,这样的话可以让真样本和假样本的分布可能存在交集,同时会增加判别器辨别真伪的难度,从而避免判别器的性能太好。(中间部分越陡,两端越平说明效果越好),从而降低梯度消失的可能性。

(2)对判别器的性能进行额外的约束:比如对判别器复杂度进行约束,对梯度进行约束等

变分判别器瓶颈

利用信息瓶颈约束进入判别器内的信息流,通过对判别器输入的观测数据和和经过编码器的特征表示之间的互信息进行约束来稳定对抗性模型的训练过程,如下图。促使判别器学习到使原始数据和生成器的数据分布有很多重叠的数据表征,从而有效地调整判别器的准确率并维持判别器能够为生成器带有足够信息量的梯度。

编码器首先将样本 x 映射到潜在分布 E(z|x) 上(正态分布)。接着,训练判别器从潜在分布中对样本 z 进行分类,将信息瓶颈 I(X, Z) ≤ I_c 作用于 Z。右图:被训练用来通过不同 KL 边界 I_c 区分两个高斯分布的判别器的可视化结果。可以认为左生成分布为0,右真实图像分布为1.

疑问1: 为什么使用了对判别器输入的观测数据和和经过编码器的特征表示之间的互信息的约束就能稳定了呢?

首先,我们得到的特征空间 z 是由 x 编码得到的,理论上已知 x 就可确定 z,x 和 z 是完全相关的,也就是 x 和 z 的互信息是较大的。而现在限制了互信息的值,这样就切断了一部分 x 和 z 的相关性,保留的相关性是 x 和 z 最具辨别力的特征,而其它相关性较低的特征部分将被限制掉,从而使得模型不至于过度学习,增强泛化能力,防止过拟合。 个人解释:X里面包含真实data和generator生成数据,通过互信息约束,将X与正太分布拉近,并且互信息越小,X的表示范围变小,因此真实data与generator生成数据的表示会有很多重叠,因此能够增大判别器学习难度,使得反传有效梯度。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 记录要跑的text to image,一步步不要太精细

    首先,我们需要准备下载text  to image 资源,我打算跑的代码地址。 ? 要求的版本 然后查看自己的服务器cudn,tensorflow,NLTK,如...

    水球喵子
  • 可解释性的重要性2.1

    如果一个机器学习的模型表现良好,我们为什么不能直接相信这个模型,并且忽略为什么它做了这样的决策?。原因是,仅靠一个指标(loss),例如分类准确性,是一个对现实...

    水球喵子
  • 【译】(Introduction部分)Interpretable Machine Learning. A Guide for Making Black Box Models Explainable

    这本书向你解释了怎样让机器学习模型可解释,这章中包含了一些数学公式,但是即使没有这些公式,你也应该能够理解这些方法的思想。这本书并不适合于初学机器学习的同学,如...

    水球喵子
  • Leetcode 139. 单词拆分

    给定一个非空字符串 s 和一个包含非空单词列表的字典 wordDict,判定 s 是否可以被空格拆分为一个或多个在字典中出现的单词。

    zhipingChen
  • 操作系统之SMP和AMP系统 原

        SMP——Symmetric Multi-Processing (SMP),即对称多处理器结构

    克虏伯
  • Intellij IDEA 安装lombok及使用详解

    项目中经常使用bean,entity等类,绝大部分数据类类中都需要get、set、toString、equals和hashCode方法,虽然eclipse和...

    似水的流年
  • 每周分享第 18 期

    上周(8月4日),委内瑞拉总统马杜罗发表公众演讲,结果天空中出现了两个无人飞行器,慢慢靠近人群。每个飞行器都携带了1公斤的炸药,企图暗杀马杜罗。一个飞行器被击落...

    ruanyf
  • 解决word图片模糊问题

    点击左上角的“文件”按钮,在弹出菜单中,点击“选项”。在弹出的“选项”窗口中选择“高级”,在“图像大小和质量”的选项中可以找到“不压缩文件中的图像”这个选项。该...

    用户1359560
  • Tensorflow入门:Linear Regression

    拟合上图的直线,这被称为线性回归,是机器学习最简单的入门问题,理论部分这里就不再赘述了。

    Steve Wang
  • VC和GCC成员函数指针实现的研究(三)

    因为是兼容虚继承和非虚继承的,所以赋值的部分的汇编是一样的。这里就不贴了。关键在于执行期它是怎么找到虚基类的。请往下看:

    owent

扫码关注云+社区

领取腾讯云代金券