Gibbs采样

MCMC采样和M-H采

1.细致平衡条件

MCMC采样和M-H采样中我们讲到细致平衡条件,即如果非周期马尔可夫链状态转移矩阵P和概率分布π(x)对于所有的i,j满足下列方程,则称概率分布π(x)是状态转移矩阵P的平稳分布。

可以发现,上面两式的右边相等,因此我们有

也就是

有了上面状态转移矩阵,我们很容易验证平面上任意两点E,F可以满足细致平稳条件

2.二维Gibbs采样

根据上面提到的状态转移矩阵,我们就可以得到二维Gibbs采样,这个采样需要两维度之间的条件概率,具体过程如下

用下图可以直观的看出,采样是在两个坐标轴上不断变换的。当然,坐标轴轮换不是必须的,也可以每次随意选择一个坐标轴进行采样。

3.多维Gibbs采样

4.Gibbs采样总结

由于Gibbs采样在高维特征时的优势,目前通常意义上的MCMC采样都是用Gibbs采样。Gibbs采样要求数据至少有两个维度,一维概率分布的采样无法用Gibbs采样实现,这时可以用M-H方法采样。通过Gibbs采样来获取概率分布的样本集,通过蒙特卡罗方法来用样本集求和,两者一起奠定了MCMC算法在高维数据模拟求和时的作用。

你看到的这篇文章来自于公众号「谓之小一」,欢迎关注我阅读更多文章。

原文发布于微信公众号 - 谓之小一(weizhixiaoyi)

原文发表时间:2018-12-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券