机器学习(1)--线性回归理论推导

给定数据集

，其中

，

。线性回归试图学得

，使

与

之间的差别尽可能小。如何确定

和

，关键在于如何衡量

与

之间的差别，可以通过均方误差最小化。

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。

在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

1.一元线性回归

这里

是关于w和b的凸函数，当它关于w和b的导数均为零时，得到w和b的最优解。

求w和b的偏导：

令偏导为0：

2.多元线性回归

img

矩阵X的每一行的前n个元素代表一条数据标签，共有m个数据。最后一行元素恒置为1，为了求导的方便，把

当作线性模型中的偏置(bias)。即f(x)=XW。

注：由于

是个实数c，loss=c1c1+c2c2+...+cm*cm。可写成

。

上式可改写成矩阵相乘的方式，

我们要求loss最小时，w的取值，所以对w求偏导，使其为0。

注：补充矩阵求导的知识，记熟两个。

这种情况是对带T的求导，左右两边互换位置，不加T。

这种情况是对不带T的求导，其他元素加T，不换位置。

求偏导过程如下所示：

故得

求得的W即为最优权值。

3.局部加权线性回归

为了突出要预测的值的周边重要性，减弱距离远的值对W的影响，使其能局部最优。

方法：给每一个

加上一个权重，权重的大小根据离预测值的远近而变化。离得近的权重大，离得远的权重小。对角矩阵是新权重的最佳选择。

同样，上式可以转换成矩阵相乘的格式：

对W求偏导，过程如下所示：

令偏导为0，即

由于M是对角矩阵，

即：

求得的W即为最优权值。