机器学习入门——极大似然估计

编辑文章

先来看看几个小例子:猎人师傅和徒弟一同去打猎,遇到一只兔子,师傅和徒弟同时放枪,兔子被击中一枪,那么是师傅打中的,还是徒弟打中的?

一个袋子中总共有黑白两种颜色100个球,其中一种颜色90个,随机取出一个球,发现是黑球。那么是黑色球90个?还是白色球90个?

看着两个小故事,不知道有没有发现什么规律...由于师傅的枪法一般都高于徒弟,因此我们猜测兔子是被师傅打中的。随机抽取一个球,是黑色的,说明黑色抽中的概率最大,因此猜测90个的是黑色球。

他们有一个共同点,就是我们的猜测(估计),都是基于一个理论:概率最大的事件,最可能发生

概念

极大似然估计方法(Maximum Likelihood Estimate,MLE)也称为最大概似估计或最大似然估计,似然就是可能性的意思。现在已经拿到了很多个样本,这些样本值已经实现,最大似然估计就是去找到那个(组)参数估计值,使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经出现了,其发生概率最大才符合逻辑。即,样本所展现的状态便是所有可能状态中出现概率最大的状态。

原理

最大似然估计的目的就是:利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。通过若干次试验,观察其结果,利用试验结果得到某个参数值(这个参数值要具体问题具体分析)能够使样本出现的概率为最大,则称为极大似然估计。

举个栗子

现在有一个黑箱子里面有标有1或2的球共100个,现在从中有放回的抽取10个球,结果为,估计标有1的球在黑箱子里面有多少个。

我们不妨把标有1的球设为θ个,那么抽到1的概率p(x=1)=θ/100,这里简单记作p,则产生实验结果的概率为 P = (p ^ 4)*((1-p)^ 6),这里的待估参数为θ,P是一个关于θ的函数,不妨记作P(θ)。根据前面讲的原理,“已发生的就是概率最大的”,θ有多种可能取值,但根据最大似然原理,θ应当取使发生的概率最大时对应的值,即求P(θ)取最大值时θ的取值。

在这里,我们成P(θ)为似然函数,常记为L(θ),或L(θ)=L(x1, x2,..., xn; θ),其中x1, x2,..., xn是已发生的样本,记p(xi; θ)为xi发生的概率,则似然函数可以写为:

若总体X为连续型,其概率密度函数为f(x; θ),θ为未知参数。则似然函数为:

极大似然法的一般步骤:

1 构造似然函数L(θ)

2 取对数:lnL(θ)

3 求导,计算极值

4 解方程,得到θ

对于第3步不能利用求导取极值的情况,可以先将求对数似然函数的极大值转化为求极小值(或最小值),然后如果转换后的函数时高阶连续可导凸函数,则可以利用梯度下降法、牛顿法等求其最优解。

参考:https://baike.baidu.com/item/%E6%9E%81%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1/3350286?fr=aladdin

https://www.zhihu.com/question/20447622

https://www.jianshu.com/p/e4443c4bd69e

https://blog.csdn.net/zengxiantao1994/article/details/72787849

https://www.cnblogs.com/xing901022/p/8418894.html

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180508G17K9300?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券