1分钟理解最小二乘法

概念

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。

利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

例子

有五把尺子，用它们来分别测量一线段的长度，得到的数值分别为10.2、10.3、9.8、9.9、9.9，产生了误差，这种情况下，一般取平均值来作为线段的长度。

因为误差是长度，还要取绝对值，计算起来麻烦，就干脆用平方来代表误差：

总的误差的平方就是

让总的误差的平方最小的y就是真值，这是基于，如果误差是随机的，应该围绕真值上下波动。

这就是最小二乘法，即：

这是一个二次函数，对其求导，导数为0的时候取得最小值，求得y为算术平均数的时候，正好误差最小。

推广

算术平均数只是最小二乘法的特例，适用范围比较狭窄，而最小二乘法用途广泛。

可以选择不同的f(x)，通过最小二乘法可以对同一系列的点得到不一样的拟合曲线。

最小二乘法与正态分布

误差的分布是正态分布，那么最小二乘法得到的就是最有可能的值。

思考

为什么是最小二乘法，而不是最小三乘法、最小456789乘法呢？

很可能是奇数次幂，结果有正负号，并不能直接用于误差计算；而4以上的偶数次幂，其效果和2次幂相同，只不过将误差放大了几倍而已。