模式识别中的最大似然估计

一、引入

最早接触最大似然估计是在大学时学习浙江大学盛骤等编著的《概率论与数理统计（第三版）》这门数学基础课，其中第七章《参数估计》中就专门介绍了最大似然估计，当然也有人称之为极大似然估计。为了介绍其在模式识别和深度学习中的应用，有必要在此结合示例简要回顾一下：

1.1抽球示例

假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中（每次抽完都放回，保证事件独立性）。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。若在前面的100次重复记录中，有70次是白球，请问罐中白球所占的比例最有可能是多少？当然，在这种数据情况下，很明显白球的比例是70%，但其后的理论支撑是什么呢？在一些复杂的条件下，还是是很难通过直观的方式获得答案的，这时候理论分析就尤为重要了，这也是学者们为何要提出最大似然估计的原因。

最大似然估计是一种“模型已知，参数未知”的估参方法，采用最大似然估计法求解袋子中白球的比例过程如下：

最后，总结一下：

最大似然估计在模式识别中主要用于估计分类模型中的参数，既可以用于生成模型中，也可在判别模型中使用。不过，最重要的是要学会用最大似然的思想建模实际问题。

参考资料：

[1]李宏东(译).模式分类(原书第2版)[M].机械工业出版社, 2003.

[2]张学工.模式识别(第3版)[M].清华大学出版社,2010.

[3]李航.统计学习方法[M].清华大学出版社,2012.

[4]周志华.机器学习[M].清华大学出版社,2016.

[5]伊恩·古德费洛,约书亚·本吉奥.深度学习[M].人民邮电出版社, 2017.

[6]https://www.jianshu.com/p/f1d3906e4a3e

[7]http://ufldl.stanford.edu/tutorial/