问什么是“后崩溃”现象？

EN

在Z-强迫:训练随机递归网络提供的更好解释的帮助下：

当后验不折叠时，从z_d (潜变量z的d维数)中抽取q_{\phi}(z_d|x)=\mathcal{N}(\mu_d, \sigma^2_d)，其中\mu_d和\sigma_d是输入x的稳定函数。换句话说，编码器从x中提取有用的信息到\mu_d和\sigma_d中。

当输入x到后验参数的信号太弱或太噪声时，译码器开始忽略从后验q_{\phi}(z|x)提取的z样本。

太吵的信号意味着\mu_d和\sigma_d是不稳定的，因此采样的z's也是不稳定的，这迫使解码器忽略它们。所谓“忽略”，我的意思是:译码器\hat{x}的输出几乎独立于z，在实践中，这意味着产生一些通用输出-- \hat{x}是所有看过的x's的粗略代表。

太微弱的信号转化为

这意味着后路的\mu和\sigma几乎与输入x断开。换句话说，\mu和\sigma崩溃为恒定值a，b将弱(常数)信号从不同的输入传输到解码器。因此，解码器试图通过忽略从x中抽取的无用的z's来重建\mathcal{N}(a,b)。

以下是Z-强迫:训练随机递归网络的一些解释：

在这些情况下，由于随机梯度近似引起的方差，后验近似往往提供过弱或噪声信号。因此，解码器可以学会忽略z，而只依赖x的自回归性质，从而使x和z是独立的，即方程中的KL项。2消失。

和

在文本和图像等各个领域，经验观察表明，当与强大的自回归译码器相结合时，很难利用潜在变量。

为了清晰起见，KL术语最简单的形式是

对于p(z|x)，本文使用了一个更复杂的高斯先验。