WAE的推导与理解

想要理解WAE要说两个关键点

1. 如前文所述，VAE是在优化两个分布间的距离
2. 什么是wasserstein distance

首先说wasserstein distance

有了距离的定义，接下来就是定义分布之间的距离

最终就可以得到优化 表达式

然而如何去进行优化，估计分布之间的距离依旧是一个无法解决的问题。参考f-gan，可以使用类似的方式去求出距离，原始论文中也提到了MMD的方法，但使用gan-based的思路更加一以贯之。

伪代码如下

总体看来，如果理解了前文所诉的，VAE是在做距离的优化，那么WAE无非是使用了新的距离定义，使得隐变量空间具有更好的结构，同时借鉴了GAN的思路去估计prior与posterior之间的距离。