Cramer-Wold自动编码器

https://www.groundai.com/project/cramer-wold-autoencoder/

Cramer-Wold自动编码器

J. Tabor，S. Knop，P. Spurek，I. Podolak，M. Mazur，S.JastrzębskiJagiellonian

大学数学与计算机科学

系，Lojasiewicza

6，30-348 Cracow，波兰。

jacek.tabor@uj.edu.pl

作者简介 ArXiV页面2018年5月23日提交 37 20分钟阅读

抽象

我们提出了一个新的生成模型，即Cramer-Wold自动编码器（CWAE）。在WAE之后，我们直接鼓励潜在空间的正常性。我们的论文还使用了来自Sliced WAE（SWAE）模型的最近想法，该模型使用一维投影作为验证两个分布紧密度的方法。

关键的新成分是在密度空间中引入新的（Cramer-Wold）度量，它取代了SWAE中使用的Wasserstein度量。我们证明高斯混合之间的Cramer-Wold度量是由一个简单的分析公式给出的，这导致了在WAE和SWAE模型中估计成本函数所必需的取样的去除。

因此，CWAE在大幅简化优化程序的同时，为其他SOTA模型生成匹配感知质量的样本。

1介绍

基于自动编码器的生成模型通常使用距离正态性（VAE [ [7] ]，

β-

VAE [ [6] ]，基于核的WAE [ [11] ]）的距离的一定量度 ，尽管对抗性鉴别器也是常用的（敌意AE [ [9] ]，对抗WAE [ [11] ]）。有关更详细的讨论和参考文献列表，我们请读者参考 [ [11]，[8] ]。

人们可以观察到一种趋势，即尽量减少和简化基本AutoEncoder体系结构的必要修改以及创建生成模型所需的成本函数。由于Kullback-Leibler的计算是非平凡的，因此原始VAE需要变分方法。因此，需要在优化过程中进行抽样（对于VAE扩展如

β

- VAE [ [6] ]也是如此）。WAE模型使用基于Wasserstein的度量，但没有使用变分方法，效果很好，但代价是相当不重要的成本函数。简化基于AutoEncoder的生成模型的下一个重要步骤是SWAE [ [8] ]，其中使用一维投影（切片方法）简化了Wasserstein距离的复杂计算。但是，即使在这种情况下，距离和成本函数也是基于采样。

在本文中，我们向同一方向提供下一步，并构建一个Cramer-Wold距离，从而能够构建一个基于AutoEncoder的生成模型，其成本函数由一个简单的闭式解析公式给出。