重参数化(Reparameterization)技巧是一种在机器学习和统计学中常用的技术,主要用于将一个随机变量转换成另一个随机变量,同时保证它们的概率分布保持不变,在生成模型中有着重要应用。
重参数化技巧,就是从一个分布 p_{\theta}(z) 中进行采样,而该分布是带有参数 {\theta} 的,如果直接进行采样(采样动作是离散的,其不可微),是没有梯度信息的,那么在BP反向传播的时候就不会对参数梯度进行更新。重参数化技巧可以保证我们从 p_{\theta}(z) 进行采样,同时又能保留梯度信息。
我们考虑以下形式:
其中
。这样就解决了采样导致梯度不可传递的问题。
文章链接: