最大似然估计 最大后验估计

MLE MAP

• 最大后验概率 wiki
• 机器学习基础篇——最大后验概率

MLE: 首先看机器学习基础篇——最大后验概率关于离散分布的举例(就是樱桃/柠檬饼干问题) 可见，MLE是在各种概率中，找出使发生事实概率最大的那个概率。 比如那篇博文的例子，你要找到哪个袋子会使得拿到两个柠檬饼干的概率最大。根据如下公式，你要找到一个p，使得p^2最大。

MAP: 还是接着那个饼干的例子，如果取每个包裹的概率不是平均的，而是有遵循某种概率分布的？这就是MAP了。

我们要找到一个包裹，使得上面的公式值最大。

• p的取值分别为0%,25%,50%,75%,1
• g的取值分别为0.1, 0.2, 0.4, 0.2, 0.1.
• 则MAP值为0, 0.0125 , 0.125, 0.28125, 0.1

通过MAP估计可得结果是从第四个袋子中取得的最高。

上述都是离散的变量，那么连续的变量呢？那就遵循下面的公式(符号的解释参考wiki 原文

这里我解释一下，在MAE中，概率本身遵循一个先验分布g(g是一个概率密度公式)。显然，公式的分母是一个积分，计算结果是个常数，而且与θ无关。 注意，该公式的意义并不表示一个概率，而且g(θ)是一个概率密度。公式的分母含义可以理解成：所有(x事件会发生的概率密度)的积分，而分子的含义可以理解成：给定θ下，x事件会发生的概率密度，所以公式的含义大概是(某个θ下发生x的概率密度)/(所有θ下发生x的概率密度的积分)。

我们的目标是，让上面的公式值最大。由于上式分母与θ无关，就只要让分子的值最大即可。：

求解方法是求出极值，可以如下：

1. 先两边加ln
2. 公式对θ求导
3. 再求θ，使得公式导数等于0

这个θ就是我们预测的概率了。