机器学习（十八）极大似然估计

1 极大似然估计简介

极大似然估计是在总体类型已知条件下使用的一种参数估计方法 。它首先是由德国数学家高斯在1821年提出的,

然而，这个方法常归功于英国统计学家费希尔.费希尔在1922年重新发现了这一方法，并首先研究了这种方法的一些性质 。

极大似然估计的思想是：选取这样的θ̂，使得当它作为未知参数θ的估计时，观察结果出现的可能性（概率）最大！！

我们看看几个例子：

例1、某位同学与一位猎人一起外出打猎.一只野兔从前方窜过,只听一声枪响，野兔应声倒下。如果要你推测，是谁打中的呢？你会如何想呢?

你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率, 看来这一枪是猎人射中的。这个例子所作的推断已经体现了极大似然法的基本思想 .

例2、设袋中有黑白两种球，已知两种球的比例为1：99，但不知道哪种颜色的球多。 若现在从袋中任取一球，发现是白球，试估计袋中白球所占的比例。

例3、设袋中有黑、白球共4个，现有放回地抽取3次，得到2个白球，1个黑球。试问：如何估计袋中的白球数？ 解：设袋中的白球数为m（待估），3次抽球中抽得白球的次数为r.v.X。 则 X ~ B (3, p=m /4), P { X=k }=C3k pk (1-p)3-k, k =0,1,2,3。

从上图可以看出，当取中白球个数为2时，其中事件发生概率最大为m=3，即p=3/4时，所有我们有理由认为： p̂=3/4, m̂=3。

2 极大似然估计原理

设X1, X2 ,…, Xn是取自总体 X 的一个样本，样本的联合概率密度(连续型）或联合概率函数(离散型)为 P (X1,X2,…Xn; θ) 。当给定样本的一组观测值x1, x2 ,…, xn时，定义似然函数为：orient/strip%7CimageView2/2/w/1240)

L(θ)看作参数θ的函数，它可作为θ将以多大可能产生样本值 x1, x2 ,…, xn 的一种度量 ，极大似然估计法就是用使L(θ)达到最大值的θ̂去估计θ。

称θ̂为θ的极大似然估计（MLE：maximum likelihood estimate）。

3 极大似然估计求解

下面为求极大似然估计(MLE)的一般步骤： (1) 由总体分布导出样本的联合概率函数 (或联合概率密度); (2) 把样本联合概率函数(或联合密度)中自变量看成已知常数,而把参数θ 看作自变量, 得到似然函数L(θ); (3) 求似然函数L(θ) 的最大值点(常常转化为求ln L(θ)的最大值点) ，即θ的MLE; (4) 在最大值点的表达式中, 用样本值代入就得参数的极大似然估计值 .

我们看一个例子： 首先确定样本的联合概率密度函数

推导出似然函数并求极值点

求解得出参数估计