R语言贝叶斯MCMC：GLM逻辑回归、Rstan线性回归、Metropolis Hastings与Gibbs采样算法实例

相关视频

什么是频率学派？

概率被解释为一个随机过程的许多观测的预期频率。

有一种想法是 "真实的"，例如，在预测鱼的生活环境时，盐度和温度之间的相互作用有一个回归系数？什么是贝叶斯学派？

在贝叶斯方法中，概率被解释为对信念的主观衡量。

所有的变量--因变量、参数和假设都是随机变量。我们用数据来确定一个估计的确定性（可信度）。

这种盐度X温度的相互作用反映的不是绝对的，而是我们对鱼的生活环境所了解的东西（本质上是草率的）。目标

频率学派

保证正确的误差概率，同时考虑到抽样、样本大小和模型。

缺点：需要对置信区间、第一类和第二类错误进行复杂的解释。

优点：更具有内在的 "客观性 "和逻辑上的一致性。

贝叶斯学派

分析更多的信息能在多大程度上提高我们对一个系统的认识。

缺点：这都是关于信仰的问题! ...有重大影响。

优点: 更直观的解释和实施，例如，这是这个假设的概率，这是这个参数等于这个值的概率。可能更接近于人类自然地解释世界的方式。

实际应用中：为什么用贝叶斯

具有有限数据的复杂模型，例如层次模型，其中

实际的先验知识非常少

贝叶斯法则：

一些典型的贝叶斯速记法。

注意:

贝叶斯的最大问题在于确定先验分布。先验应该是什么？它有什么影响？

目标:

计算参数的后验分布：π（θ|X）。

点估计是后验的平均值。

一个可信的区间是

你可以把它解释为一个参数在这个区间内的概率 。

计算

皮埃尔-西蒙-拉普拉斯（1749-1827）（见：Sharon Bertsch McGrayne: The Theory That Would Not Die)

有些问题是可分析的，例如二项式似然-贝塔先验。

但如果你有很多参数，这是不可能完成的操作

如果你有几个参数，而且是奇数分布，你可以用数值乘以/整合先验和似然（又称网格近似）。

尽管该理论可以追溯到1700年，甚至它对推理的解释也可以追溯到19世纪初，但它一直难以更广泛地实施，直到马尔科夫链蒙特卡洛技术的发展。

MCMC

MCMC的思想是对参数值θi进行 "抽样"。

回顾一下，马尔科夫链是一个随机过程，它只取决于它的前一个状态，而且（如果是遍历的），会生成一个平稳的分布。

技巧 "是找到渐进地接近正确分布的抽样规则（MCMC算法）。

有几种这样的（相关）算法。

Metropolis-Hastings抽样

Gibbs 抽样

No U-Turn Sampling (NUTS)

Reversible Jump

一个不断发展的文献和工作体系!

Metropolis-Hastings 算法

开始:

跳到一个新的候选位置:

计算后验:

如果

如果

转到第2步

Metropolis-Hastings: 硬币例子

你抛出了5个正面。你对θ的最初 "猜测 "是

MCMC:

p.old 

while(length(thetas) 

theta.new 

p.new 

if(p.new > p.old | runif(1) 

theta 

p.old 

}

画图:

hist(thetas\[-(1:100)\] )

curve(6*x^5 )

plot(line)

plot(line\[\[1\]\], start=10)

density(line)

levelplot(line\[\[2\]\])

acfplot(line)

logitmcmc(low~age+as.factor(race)+smoke )

plot(mcmc)

int n; //

vector\[n\] y; // Y 向量

real beta1;  // slope

sigma ~ inv_gamma(0.001, 0.001);

yhat\[i\] 

y ~ normal(yhat, sigma);

X 

Y 

sampling(stan, Data)

print(fit, digits = 2)

extract(stan.fit

alply(chains, 2, mcmc)