MCMC采样和M-H采样中我们讲到细致平衡条件,即如果非周期马尔可夫链状态转移矩阵P和概率分布π(x)对于所有的i,j满足下列方程,则称概率分布π(x)是状态转移矩阵P的平稳分布。
可以发现,上面两式的右边相等,因此我们有
也就是
有了上面状态转移矩阵,我们很容易验证平面上任意两点E,F可以满足细致平稳条件
根据上面提到的状态转移矩阵,我们就可以得到二维Gibbs采样,这个采样需要两维度之间的条件概率,具体过程如下
用下图可以直观的看出,采样是在两个坐标轴上不断变换的。当然,坐标轴轮换不是必须的,也可以每次随意选择一个坐标轴进行采样。
由于Gibbs采样在高维特征时的优势,目前通常意义上的MCMC采样都是用Gibbs采样。Gibbs采样要求数据至少有两个维度,一维概率分布的采样无法用Gibbs采样实现,这时可以用M-H方法采样。通过Gibbs采样来获取概率分布的样本集,通过蒙特卡罗方法来用样本集求和,两者一起奠定了MCMC算法在高维数据模拟求和时的作用。
你看到的这篇文章来自于公众号「谓之小一」,欢迎关注我阅读更多文章。