专知主题链路知识推荐#1——马尔科夫链蒙特卡洛采样(附代码)

【导读】主题链路知识是我们专知的核心功能之一，为用户提供AI领域系统性的知识学习服务，一站式学习人工智能的知识，包含人工智能（ 机器学习、自然语言处理、计算机视觉等）、大数据、编程语言、系统架构。使用请访问专知 进行主题搜索查看 - 桌面电脑访问www.zhuanzhi.ai, 手机端访问www.zhuanzhi.ai 或关注微信公众号后台回复" 专知"进入专知，搜索主题查看。今天给大家介绍我们独家翻译整理的概率分布采样估计神器-马尔科夫链蒙特卡洛采样(附代码)。

一直想把马尔科夫链蒙特卡洛采样的详细过程总结并写出来，尽管网上的中文教材比较多，但暂时没有发现写的比较浅显易懂并且条理分明的博客文章，偶然间看到这个英文教程，清晰地记得那时候花一天时间通读全文，并且代码跑通实现了，很多以前是懂非懂的采样问题突然清晰明白了，现在花时间整理，并且把英文教程前两章翻译出来，希望对大家有用，有问题或者理解有偏差的地方，欢迎指出来，一起学习进步。

1、从随机变量中采样

研究人员提出的概率模型对于分析方法来说往往过于复杂。越来越多的研究人员依赖数学计算的方法处理复杂的概率模型，研究者通过使用计算的方法，摆脱一些分析技术所需要的不切实际的假设。（如，常态和独立）

大多数近似方法的关键是在于从分布中采样的能力。我们需要通过采样来预测特定的模型在某些情况下的行为，并为潜在的变量（参数）找到合适的值以及将模型应用到实验数据中。大多数采样方法都是将复杂的分布中抽样的问题转化到简单子问题的采样分布中。

本章，我们解释两种采样方法：逆变换方法（the inverse transformation method）和拒绝采样（rejection sampling）。这些方法主要适用于单变量的情况，用于处理输出单变量的问题。在下一章，我们讨论马尔科夫链蒙特卡洛方法（Markov chain Monte Carlo），该方法可以有效的用于多元变量分布采样。

1.1 标准分布

有一些分布被经常用到，这些分布被MATLAB作为标准分布实现。在MATLAB统计工具箱（Matlab Statistics Toolbox supports）实现了一系列概率分布。使用MATLAB工具箱可以很方便的计算这些分布的概率密度、累积密度、并从这些分布中取样随机值。表1.1列举了一些MATLAB工具箱中的标准分布。在MATLAB文档中列举了更多的分布，这些分布可以用MATLAB模拟。利用在线资源，通常很容易能找到对其他常见分布的支持......