问变分自动编码器:编码器必须有与解码器相同的层数吗？
EN

Stack Overflow用户

提问于 2018-05-02 09:36:28

回答 1查看 1.2K关注 0票数 3

在变分式自动编码器中，编码器必须具有与解码器相同的层数吗？我的编码器(密度)：54-10-5-3，解码器(密度)：3-5-10-25-35-45-54，我得到了更好的结果。

发布于 2018-05-03 22:23:34

你问了一个很好的问题，答案是否定的。

由于Al梦已经指出了一些使用非对称架构的工作，我想指出与您的问题相关的理论工作。

我相信最好的解释来自于ICLR 2017年会议论文：“变分丢失式自动编码器”，Xi等人。

第二节是必读部分.作者将变分自编码与比特后向编码联系起来，证明了平均编码长度(相当于变分下界)在使用近似后验分布时总是有额外的码长。当VAE的译码器(即log-datalikelihood p(x\z))不需要q(z-x)就可以对数据进行建模时，VAE将忽略潜在变量！

这意味着，如果我们有一个非常强的解码器(例如，与编码器相同的层数)，那么VAE就有可能完全忽略学习Q(z=x)，只需将Q(z=x)设为先前的p(z)，从而使KL损失保持在0。

欲知更多细节，请阅读上面的报纸。在我看来，VAE与位回编码的连接是优雅的.

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/50131402

复制

相似问题

问变分自动编码器:编码器必须有与解码器相同的层数吗？EN