最小二乘法

最小二乘法

“损失函数”是如何设计出来的？直观理解“最小二乘法”和“极大似然估计法” - 哔哩哔哩 (bilibili.com)

1.最小二乘法

求模型的结果与真实值的差距（或者说是损失大小）

\displaystyle\sum{i=1}^n|\hat y_i-y_i|，为了方便求导（梯度下降），我们可以将该算法设计成min\displaystyle\sum{i=1}^n\frac{1}{2}(\hat y_i-y_i)^2

2.极大似然函数

L(\theta)似然函数，H(\theta)熵

求解极大似然函数需要知道数据的分布，然后根据概率求参数，最后求解

3.最小二乘和极大似然

在正态分布上两者的损失函数是相同的

4.极大似然和交叉熵

除去量纲等，两者计算得到的效果是相同的