一、引入
最早接触最大似然估计是在大学时学习浙江大学盛骤等编著的《概率论与数理统计(第三版)》这门数学基础课,其中第七章《参数估计》中就专门介绍了最大似然估计,当然也有人称之为极大似然估计。为了介绍其在模式识别和深度学习中的应用,有必要在此结合示例简要回顾一下:
1.1抽球示例
假如有一个罐子,里面有黑白两种颜色的球,数目多少不知,两种颜色的比例也不知。我们想知道罐中白球和黑球的比例,但不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来,记录球的颜色,然后把拿出来的球再放回罐中(每次抽完都放回,保证事件独立性)。这个过程可以重复,我们可以用记录的球的颜色来估计罐中黑白球的比例。若在前面的100次重复记录中,有70次是白球,请问罐中白球所占的比例最有可能是多少?当然,在这种数据情况下,很明显白球的比例是70%,但其后的理论支撑是什么呢?在一些复杂的条件下,还是是很难通过直观的方式获得答案的,这时候理论分析就尤为重要了,这也是学者们为何要提出最大似然估计的原因。
最大似然估计是一种“模型已知,参数未知”的估参方法,采用最大似然估计法求解袋子中白球的比例过程如下:
最后,总结一下:
最大似然估计在模式识别中主要用于估计分类模型中的参数,既可以用于生成模型中,也可在判别模型中使用。不过,最重要的是要学会用最大似然的思想建模实际问题。
参考资料:
[1]李宏东(译).模式分类(原书第2版)[M].机械工业出版社, 2003.
[2]张学工.模式识别(第3版)[M].清华大学出版社,2010.
[3]李航.统计学习方法[M].清华大学出版社,2012.
[4]周志华.机器学习[M].清华大学出版社,2016.
[5]伊恩·古德费洛,约书亚·本吉奥.深度学习[M].人民邮电出版社, 2017.
[6]https://www.jianshu.com/p/f1d3906e4a3e
[7]http://ufldl.stanford.edu/tutorial/
领取专属 10元无门槛券
私享最新 技术干货