模式识别中的最大似然估计

一、引入

最早接触最大似然估计是在大学时学习浙江大学盛骤等编著的《概率论与数理统计(第三版)》这门数学基础课,其中第七章《参数估计》中就专门介绍了最大似然估计,当然也有人称之为极大似然估计。为了介绍其在模式识别和深度学习中的应用,有必要在此结合示例简要回顾一下:

1.1抽球示例

假如有一个罐子,里面有黑白两种颜色的球,数目多少不知,两种颜色的比例也不知。我们想知道罐中白球和黑球的比例,但不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来,记录球的颜色,然后把拿出来的球再放回罐中(每次抽完都放回,保证事件独立性)。这个过程可以重复,我们可以用记录的球的颜色来估计罐中黑白球的比例。若在前面的100次重复记录中,有70次是白球,请问罐中白球所占的比例最有可能是多少?当然,在这种数据情况下,很明显白球的比例是70%,但其后的理论支撑是什么呢?在一些复杂的条件下,还是是很难通过直观的方式获得答案的,这时候理论分析就尤为重要了,这也是学者们为何要提出最大似然估计的原因。

最大似然估计是一种“模型已知,参数未知”的估参方法,采用最大似然估计法求解袋子中白球的比例过程如下:

最后,总结一下:

最大似然估计在模式识别中主要用于估计分类模型中的参数,既可以用于生成模型中,也可在判别模型中使用。不过,最重要的是要学会用最大似然的思想建模实际问题。

参考资料:

[1]李宏东(译).模式分类(原书第2版)[M].机械工业出版社, 2003.

[2]张学工.模式识别(第3版)[M].清华大学出版社,2010.

[3]李航.统计学习方法[M].清华大学出版社,2012.

[4]周志华.机器学习[M].清华大学出版社,2016.

[5]伊恩·古德费洛,约书亚·本吉奥.深度学习[M].人民邮电出版社, 2017.

[6]https://www.jianshu.com/p/f1d3906e4a3e

[7]http://ufldl.stanford.edu/tutorial/

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180314G1KLGC00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券