Python用PyMC贝叶斯GLM广义线性模型、NUTS采样器拟合、后验分布可视化

全文链接：https://tecdat.cn/?p=33436

相关视频

线性回归

在此示例中，我们将帮助客户从最简单的 GLM – 线性回归开始。一般来说，频率论者对线性回归的看法如下：

然后，我们可以使用普通最小二乘法（OLS）或最大似然法来找到最佳拟合。

概率重构

贝叶斯主义者对世界采取概率观，并用概率分布来表达这个模型。我们上面的线性回归可以重新表述为：

换句话说，我们将Y其视为一个随机变量（或随机向量），其中每个元素（数据点）都根据正态分布分布。此正态分布的均值由具有方差sigma的线性预测变量提供。

PyMC 中的贝叶斯 GLM

要开始在 PyMC 中构建 GLM，让我们首先导入所需的模块。

数据

本质上，我们正在创建一条由截距和斜率定义的回归线，并通过从均值设置为回归线的正态采样来添加数据点。

估计模型

让我们将贝叶斯线性回归模型拟合到此数据。

对于了解概率编程的人来说，这应该是相当可读的。

要短得多，但这段代码与之前的规范完全相同。

分析模型

贝叶斯推理不仅给了我们一条最佳拟合线（就像最大似然那样），而是给出了合理参数的整个后验分布。让我们绘制参数的后验分布和我们绘制的单个样本。

左侧显示了我们的边缘后验 – 对于 x 轴上的每个参数值，我们在 y 轴上得到一个概率，告诉我们该参数值的可能性。

首先，各个参数（左侧）的采样链看起来均匀且平稳（没有大的漂移或其他奇怪的模式）。

其次，每个变量的最大后验估计值（左侧分布中的峰值）非常接近用于生成数据的真实参数（是回归系数，是我们正态的标准差）。

因此，在 GLM 中，我们不仅有一条最佳拟合回归线，而且有许多。后验预测图从后验图（截距和斜率）中获取多个样本，并为每个样本绘制一条回归线。我们可以直接使用后验样本手动生成这些回归线。

我们估计的回归线与真正的回归线非常相似。但是由于我们只有有限的数据，我们的估计存在不确定性，这里用线的可变性来表示。

总结

可用性目前是更广泛采用贝叶斯统计的巨大障碍。

允许使用从 R 借用的便捷语法进行 GLM 规范。然后可以使用 进行推理。

后验预测图使我们能够评估拟合度和其中的不确定性。