马尔可夫链蒙特卡罗法（Markov Chain Monte Carlo，MCMC）

蒙特卡罗法（Monte Carlo method），也称为统计模拟方法（statistical simulation method），是通过从概率模型的随机抽样进行近似数值计算的方法

马尔可夫链蒙特卡罗法（Markov Chain Monte Carlo，MCMC），则是以马尔可夫链（Markov chain）为概率模型的蒙特卡罗法

马尔可夫链蒙特卡罗法 构建 一个马尔可夫链，使其平稳分布就是要进行抽样的分布，首先基于该马尔可夫链进行随机游走，产生样本的序列，之后使用该平稳分布的样本进行近似数值计算

马尔可夫链蒙特卡罗法被应用于概率分布的估计、定积分的近似计算、最优化问题的近似求解等问题，特别是被应用于统计学习中概率模型的学习与推理，是重要的统计学习计算方法

1. 蒙特卡罗法

• 核心思想：随机抽样（直接抽样法、接受-拒绝抽样法、重要性抽样法 等）
• 可用于数学期望估计、积分近似计算
• 一般的蒙特卡罗法中的抽样样本是独立的，而马尔可夫链蒙特卡罗法中的抽样样本不是独立的，样本序列形成马尔科夫链。

2. 马尔可夫链

性质：

1. 不可约

在这里插入图片描述

1. 非周期

在这里插入图片描述

定理：不可约且非周期的有限状态马尔可夫链，有唯一平稳分布存在

1. 正常返

在这里插入图片描述

定理：不可约、非周期且正常返的马尔可夫链，有唯一平稳分布存在

3. 马尔可夫链蒙特卡罗法

常用的马尔可夫链蒙特卡罗法 有Metropolis-Hastings算法、吉布斯抽样。

马尔可夫链蒙特卡罗法的收敛性的判断通常是经验性的

• 比如，在马尔可夫链上进行随机游走，检验遍历均值是否收敛
• 再比如，在马尔可夫链上并行进行多个随机游走，比较各个随机游走的遍历均值是否接近一致

4. Metropolis-Hastings 算法

在这里插入图片描述

5. 吉布斯抽样

在这里插入图片描述