最大似然估计（MLE）原理及计算方法

1. 实际例子

1）有两堆球，其中A堆有99个白球和1个黑球，B堆有99个黑球和1个白球。假如随便摸一个球，发现是黑球，那么这个球更有可能来自于哪一堆？

2）猎人和徒弟去打猎，打倒了一只兔子，更可能是谁打中的？

3）一堆球，里边有黑白两色的球，其中一种颜色的有90个，另一种颜色的有10个。如果摸出一个球是黑色的，那么里边哪种颜色有90个？

第一个肯定觉得是来自B堆，第二个中更可能是师傅，第三个里边黑球有90个。我们的估计基于，概率最高的事情，更可能发生。一次实验就出现的事件，这件事有较大的概率发生。

2. 数学表述

最大似然估计这个名字是由高斯先提出，Fisher后来重新提出并证明了一些特征。这是统计学中的常用方法，机器学习中的逻辑回归中也是基于它计算的损失函数。

当样本分布是离散型：

当样本分布为连续型时：

一般情况下求估计值的步骤： 1）构造似然函数?(?) 2）取对数：???(?) 似然函数是连乘，不好求导；取对数后可化为加法，求导方便。 3）求导，计算极值 4）解方程，得到?

如果似然方程无解，或者似然函数不可导，则需要考虑其他方法。

3. 计算实例

（此题来自于https://wenku.baidu.com/view/0d9af6aa172ded630b1cb69a.html）

参考： 1）https://wenku.baidu.com/view/0d9af6aa172ded630b1cb69a.html 2）https://medium.com/@rrfd/what-is-maximum-likelihood-estimation-examples-in-python-791153818030

、