DeepMind新论文:基于变分方法的自编码生成对抗网络

王小新 编译自 Arxiv 量子位 出品 | 公众号 QbitAI

最近,DeepMind公司的Mihaela Rosca、Balaji Lakshminarayanan和David Warde-Farley等人写了一篇题为“一种基于变分方法的自编码生成对抗网络(Variational Approaches for Auto-Encoding Generative Adversarial Networks)”的论文。

这篇文章利用变分推理,提出了一种将自动编码器和生成对抗网络融合起来的方法。

摘要

自动编码生成对抗网络结合了标准形式的GAN算法,通过自动编码器给出的重建损失(construction loss)来区分原始数据和模型的生成数据。这种模型的目的是确保基于所有可用数据进行训练,防止学习得到的生成模型出现模式崩溃问题。

在本文中,我们提出了一种规则,通过利用生成模型的层次结构,将自动编码器结合到生成对抗网络中。由基本原理可表明,变分推理可作为网络学习的基本方法,但是要将随机可能性替换为合成似然性,且将未知后验分布替换为隐含分布。本文使用了鉴别器来学习网络中的合成似然性和隐含后验分布。

于是,我们结合这两种方法中的最优点,开发出一种结合变分自动编码器和生成对抗网络的融合方法。我们设置了一个共同的优化目标,讨论了引导学习的约束条件,与大量现有研究相联系,并使用了一系列实验来系统地定量评估本文方法的效果。

更多实际性能及结果讨论请看论文:https://arxiv.org/abs/1706.04987

P.S.

他们给自己的方法起名叫“α-GAN”,理由是:GAN太多,拉丁字母前缀不够用了,只好用希腊字母了……

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-06-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

CNN中的maxpool到底是什么原理?

首先细讲一下 Max pooling。 Max pooling 在卷积后还会有一个 pooling 的操作,尽管有其他的比如 average pooling...

46440
来自专栏数据派THU

手把手教你在Python中实现文本分类(附代码、数据集)

文本分类是商业问题中常见的自然语言处理任务,目标是自动将文本文件分到一个或多个已定义好的类别中。文本分类的一些例子如下:

2.8K60
来自专栏新智元

基于分形结构的极深神经网络,超越 ImageNet 2015 冠军 ResNet(附论文下载)

【新智元导读】ResNet 是 ImageNet 2015 冠军,通过让网络对残差进行学习,在深度和精度上做到了比 CNN 更加强大。于是有人认为残差结构对此很...

49840
来自专栏机器学习AI算法工程

R语言主成分和因子分析

主成分分析(PCA)是一种数据降维技巧,它能将大量相关变量转化为一组很少的不相关变量,这些无关变量称为主成分。 探索性因子分析(EFA)是一系列用来发现一组变...

53940
来自专栏机器学习算法与Python学习

基于TensorFlow实现自编码器(附源码)

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 AE简介 传统的机器学习很大程度上依...

1.5K90
来自专栏机器学习之旅

应用:数据预处理-异常值识别

上四分位数Q3,又叫做升序数列的75%位点 下四分位数Q1,又叫做升序数列的25%位点 箱式图检验就是摘除大于Q3+3/2*(Q3-Q1),小于Q1-3/2...

15430
来自专栏量化投资与机器学习

【Python机器学习】系列五决策树非线性回归与分类(深度详细附源码)

查看之前文章请点击右上角,关注并且查看历史消息 所有文章全部分类和整理,让您更方便查找阅读。请在页面菜单里查找。 相关内容:(点击标题可查看原文) 第1章 机...

47260
来自专栏磐创AI技术团队的专栏

TensorFlowNews五大经典卷积神经网络介绍:LeNet / AlexNet / GoogLeNet / VGGNet/

前言:这个系列文章将会从经典的卷积神经网络历史开始,然后逐个讲解卷积神经网络结构,代码实现和优化方向。 (以下内容来翻译自斯坦福大学课程:http://cs23...

46380
来自专栏机器学习算法工程师

不懂word2vec,还敢说自己是做NLP?

如今,深度学习炙手可热,deep learning在图像处理领域已经取得了长足的进展。随着Google发布word2vec,深度学习在自然语言处理领域也掀起了一...

14750
来自专栏AI研习社

史上最好记的神经网络结构速记表(下)

翻译 / 唐青 校对 / 李宇琛 整理 / 雷锋字幕组 本文提供了神经网络结构速查表,全面盘点神经网络的大量框架,并绘制直观示意图进行说明,是人手必备的神经网络...

479110

扫码关注云+社区

领取腾讯云代金券