Gibbs采样

1.细致平衡条件

MCMC采样和M-H采样中我们讲到细致平衡条件，即如果非周期马尔可夫链状态转移矩阵P和概率分布π(x)对于所有的i,j满足下列方程，则称概率分布π(x)是状态转移矩阵P的平稳分布。

可以发现，上面两式的右边相等，因此我们有

也就是

有了上面状态转移矩阵，我们很容易验证平面上任意两点E,F可以满足细致平稳条件

2.二维Gibbs采样

根据上面提到的状态转移矩阵，我们就可以得到二维Gibbs采样，这个采样需要两维度之间的条件概率，具体过程如下

用下图可以直观的看出，采样是在两个坐标轴上不断变换的。当然，坐标轴轮换不是必须的，也可以每次随意选择一个坐标轴进行采样。

3.多维Gibbs采样

4.Gibbs采样总结

由于Gibbs采样在高维特征时的优势，目前通常意义上的MCMC采样都是用Gibbs采样。Gibbs采样要求数据至少有两个维度，一维概率分布的采样无法用Gibbs采样实现，这时可以用M-H方法采样。通过Gibbs采样来获取概率分布的样本集，通过蒙特卡罗方法来用样本集求和，两者一起奠定了MCMC算法在高维数据模拟求和时的作用。

你看到的这篇文章来自于公众号「谓之小一」，欢迎关注我阅读更多文章。