机器学习入门 5-2 最小二乘法

本系列是《玩转机器学习教程》一个整理的视频笔记。本小节主要介绍最小二乘法。

01

最小二乘法

此时需要注意的是(x, y)为监督学习中的样本以及对应的标签，而a, b为需要求得的参数。在数学中很多时候，我们把损失函数用大写的“J”来表示（还有一些资料使用"Cost"作为损失函数，意思都是一样的）。

现在我们将问题转换为求J(a, b)的最小值，相应的转换成对应的求极值的问题，求函数极值的最基本的方法就是对函数的各个未知分量进行求导，让其导数等于0，相对应的在导数等于0的地方就是函数极值的地方。

相应的转换成对a求偏导等于0以及对b求偏导等于0，由于b的偏导比较好求，因此先求对b的偏导：

接下来看一看J对a这个分量求偏导：

接下来，将上面的式子整理出来：

总结：