深度学习笔记系列（三）：极大似然估计

极大似然估计方法（Maximum Likelihood Estimate，MLE）也称为最大概似估计或最大似然估计，其作用是通过采样的样本分布去估计整个数据中的某些参数。

简单点说，现在已知一个数据的概率分布，这个概率分布中有一些参数是未知的，那么我们如何通过采样的几个样本来估计这些参数呢，这个时候就要使用极大似然估计。

其实极大似然估计很多时候和我们的直觉是一样的，比如有一个系统会随机输出1-6的数字，你进行大量的实验后发现1出现的次数大概占总的1/6。然后你就会直觉地1出现的概率是1/6。其实这一过程你的潜意识里就用了极大似然估计的方法。

为了方便理解，这里举个简单的栗子。抛硬币，对于抛硬币来说它只会给出正面或者反面，现在我们假设给出正面的概率为a，那么反面的概率就是1-a。（毕竟硬币真反面图案不一样，所以也有可能不是50%对吧）。那么这里的a就是我们要估计的一个参数。

接下来我们做实验，假设在实验中一共投了15次硬币，其中前5次正面，后10次反面。根据这些样本我们尝试去估计原有的参数中的a。

似然函数的计算公式为：

此时我们的似然函数为：

其实这个式子也可以理解成，在给定a的情况下，我们投了15次硬币，其中前5次正面，后10次反面的概率为多少。既然我们观测的这个事情已经发生了，那么我们要找到一个a使这个概率越大越好。所以我们考虑对L求导，找导数为0时a的值。

由于直接求导比较麻烦，所以我们对两边取ln（ln不会影响单调性）得到：

然后右边对a求导并让导数等于0得到：

解得：

。而这个结果和我们的直觉也是一致的，因为我们投了15次，其中5次为正面。而极大似然估计可以理解为给这一直觉提供支持的一种依据。