专栏首页CreateAMindCramer-Wold自动编码器

Cramer-Wold自动编码器

https://www.groundai.com/project/cramer-wold-autoencoder/

Cramer-Wold自动编码器

J. Tabor,S. Knop,P. Spurek,I. Podolak,M. Mazur,S.JastrzębskiJagiellonian

大学数学与计算机科学

系,Lojasiewicza

6,30-348 Cracow,波兰。

jacek.tabor@uj.edu.pl

作者简介 ArXiV页面2018年5月23日提交 37 20分钟阅读

抽象

我们提出了一个新的生成模型,即Cramer-Wold自动编码器(CWAE)。在WAE之后,我们直接鼓励潜在空间的正常性。我们的论文还使用了来自Sliced WAE(SWAE)模型的最近想法,该模型使用一维投影作为验证两个分布紧密度的方法。

关键的新成分是在密度空间中引入新的(Cramer-Wold)度量,它取代了SWAE中使用的Wasserstein度量。我们证明高斯混合之间的Cramer-Wold度量是由一个简单的分析公式给出的,这导致了在WAE和SWAE模型中估计成本函数所必需的取样的去除。

因此,CWAE在大幅简化优化程序的同时,为其他SOTA模型生成匹配感知质量的样本。

1介绍

基于自动编码器的生成模型通常使用距离正态性(VAE [ [7] ],

β-

VAE [ [6] ],基于核的WAE [ [11] ])的距离的一定量度 ,尽管对抗性鉴别器也是常用的(敌意AE [ [9] ],对抗WAE [ [11] ])。有关更详细的讨论和参考文献列表,我们请读者参考 [ [11],[8] ]。

人们可以观察到一种趋势,即尽量减少和简化基本AutoEncoder体系结构的必要修改以及创建生成模型所需的成本函数。由于Kullback-Leibler的计算是非平凡的,因此原始VAE需要变分方法。因此,需要在优化过程中进行抽样(对于VAE扩展如

β

- VAE [ [6] ]也是如此)。WAE模型使用基于Wasserstein的度量,但没有使用变分方法,效果很好,但代价是相当不重要的成本函数。简化基于AutoEncoder的生成模型的下一个重要步骤是SWAE [ [8] ],其中使用一维投影(切片方法)简化了Wasserstein距离的复杂计算。但是,即使在这种情况下,距离和成本函数也是基于采样。

在本文中,我们向同一方向提供下一步,并构建一个Cramer-Wold距离,从而能够构建一个基于AutoEncoder的生成模型,其成本函数由一个简单的闭式解析公式给出。

本文分享自微信公众号 - CreateAMind(createamind)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-06-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 变分自编码器(VAEs)

    GAN专题结束了,按照计划,继续介绍生成模型。除了GAN,还有一类很有名生成模型variational auto-encoder(VAE,变分自编码器)。接下来...

    用户1908973
  • VAE variation inference变分推理 清爽介绍

    Introduction to variational autoencoders VAE第二篇 code: https://github.com/oduerr...

    用户1908973
  • 深度学习调参有哪些技巧?

    最近因为一些需要,参与了一些CNN建模调参的工作,出于个人习性,我并不习惯于通过单纯的trial-and-error的方式来调试经常给人以”black-box...

    用户1908973
  • 面试题十九期-测试开发面试题之python系列-这个中~

    就算所有人都不支持你。这条路会很曲折,你也会一度认为是不是自己选错了,但只要坚持,就算最后没有成功,但努力了就不会有遗憾。

    测试小兵
  • 腾讯云 云点播特性,应用场景介绍

    云点播(Video on Demand,VOD)基于腾讯多年技术积累与基础设施建设,为有音视频应用相关需求的客户提供包括音视频采集上传、存储管理、自动化转码处理...

    tengxunyun8点com活动整理
  • 如何创建自定义数据pool的RGW实例

    本文适用于jewel以上版本(含) 本文用到的软件版本如下 ceph:version 10.2.7 OS: Linux 3.16.0-4-amd64 #1 SM...

    用户1260683
  • 处理文件上传和怎么处理对象的key和value都是变量的情况

    何处锦绣不灰堆
  • 死磕 java同步系列之StampedLock源码解析

    (4)StampedLock与ReentrantReadWriteLock的对比?

    彤哥
  • Dubbo服务搭建

    之前公司一直用的RPC分布式框架是新浪的motan,由于在测试环境服务很不稳定,最近已经开始换Dubbo,而且自从阿里宣布开始从新维护Dubbo后,一直更新不断...

    LiosWong
  • 渗透技巧--浅析web暴力猜解

    Web登录界面是网站前台进入后台的通道,针对登录管理界面,常见的web攻击如:SQL注入、XSS、弱口令、暴力猜解等。本文主要对web暴力猜解的思路做一...

    Bypass

扫码关注云+社区

领取腾讯云代金券