斯坦福CS229机器学习笔记-Lecture3 局部加权线性回归和 logistic regression

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1433873

声明：此系列博文根据斯坦福CS229课程，吴恩达主讲 所写，为本人自学笔记，写成博客分享出来

      **博文中部分图片和公式都来源于CS229官方notes。**

      **CS229的视频和讲义均为互联网公开资源**

Lecture3

Lecture3的主要内容

· Locally weighted linear regression（局部加权线性回归）

· Probabilistic interpretation （概率解释）

· Logistic regression（logistic回归）

· Digression: perceptron algorithm （拓展：感知机算法）

· Newton’s method（牛顿方法）

0、 欠拟合与过拟合

在讨论正式内容局部加权线性回归之前，先引入两个概念

Underfitting：欠拟合

“this refers to a setting where there areobvious patterns that – where there are patterns in the data that the algorithmis just failing to fit.”

数据中某些非常明显的模式没有被成功的拟合出来。

Overfitting：过拟合

“this is when the algorithm is fitting theidiosyncrasies of this specific data set”

算法拟合出的结果仅仅反映了所给的特定数据的特质

所以今天讲的这类算法称为non-parametric learning algorithm ，可以缓解我们队于特征选取的需求，从而引入后面的正式内容，局部加权线性回归。

1、 Locally weighted linear regression（局部加权线性回归）

Parametric learning algorithm：参数学习算法是一类有 固定的参数数目以用来进行拟合的算法。Lecture2中的线性回归就属于此种算法。

Non-parametric learning algorithm：非参数学习算法，参数数量会随着m（训练样本的数目）增长的算法。本节中的 局部加权线性回归 就属于非参数学习算法。

回顾线性回归算法，如果我们要对一个x进行预测，我们通常进行如下运算：

①先拟合出使得J(θ)最小的θ，然后输出θTx，就是预测的结果

而对于局部加权线性回归，操作如下：

会发现，在拟合θ的时候，我们对于每一个样本x(i)，都有一个对应的weights权重：w(i)。这个权重是一个非负的数。很显然，如果对于某一个i，w(i)的值很小，那么括号内的值在拟合过程中就几乎没有起到什么作用，可以忽略；相反，如果对于某个i，w(i)的值很大，那么在拟合的过程中，我们就会努力让括号内的值变小才行。

所以，通常情况下weights的取法如下：

根据此式，weights就取决于我们想要进行预测的这个x，如果分子很小甚至等于0，那么w(i)就逼近1；反之，如果分子很大甚至区域无穷，那么w(i)就趋近于0。

再结合上面我们对于weights的作用的叙述，得到如下结论：

如果要预测的x与某个样本x(i)十分接近，那么w(i)就接近1；其余样本离x远的话，对应的w就为0 。

所以拟合θ的时候，会更多的注重对临近点的精确拟合 ,而忽略与x差别大的其余样本的贡献。

参数τ称为bandwidth parameter，他控制了权值随距离下降的速率。

来和Lecture2中的普通线性回归做个对比：

普通线性回归是一种parametriclearning algorithm，因为它有一个固定的、数目有限的参数集合，当我们一旦完成拟合之后，我们完全可以丢掉 训练集。 因为参数theta已经固定了且保存了。

局部加权线性回归却不同，我们需要保存所有的训练集，因为我们是针对特定的输入x来对其进行拟合，不同的输入拟合出的θ会有差别，所以每次输入x都会对其重新拟合一下。

2、 Probabilistic interpretation（概率解释）

当我们遇到线性回归模型，为什么我们的损失函数会采用最小二乘法 least-square regression？吴老师在这里给出了一种概率解释。

首先做出一系列假设：

假设输入和输出之间的关系用如下等式表示：

其中

是一个误差项，用来表示我们在拟合的时候没有考虑到的特征以及随机噪音等。

并假设其为独立同分布的，服从高斯分布N(0,δ2) :

所以

亦服从高斯分布，即将ε替换得：

所以如果给定x和参数θ，那么输出变量y也服从高斯分布：

则，对于参数θ，写出其似然估计函数：

由概率论中的知识，对其做最大似然估计，自然想到对数似然函数：

则，要想让上式最大，我们只需要使得减号后的式子最小即可：

我们发现，这就是前面Lecture2讲过的original least-squares costfunction

3、 logistic regression

logistic回归，注意它虽然名叫回归，其实是做的分类。我们已经知道，目标变量若是连续值，称为回归问题；目标变量若是离散值，称为分类问题。

比如y如果只有两种取值：0 和1，对于这种二分类问题运用线性回归模型其实并不合理，所以我们改变hypothesis function 为：

称为logistic function 或者 sigmoid function.

之所以选择这个拟合函数，以后会讲到，现在先来考虑如何取得合适的θ值？

还是从概率论的角度入手，先做假设：

将上面两式整合成一个式子：

假设m个训练样本都是相互独立的，写出θ的似然函数如下：

写出其对数形式：

现在想要对其取极大值，（因为是极大似然估计），记得我们在线性回归时采用梯度下降算法来取得损失函数的最小值；

现在反其道而行之，采用梯度上升gradient ascent.算法来取得对数似然估计的极大值：

注释：上面的推导过程画蓝线部分利用到logistic函数的一个极好用的性质：

所以我们得到了θ的随机梯度上升更新规则：

这个更新规则和LMS更新规则看起来一样（注意其实有个负号的区别），但其实本质上不一样，因为这里的h函数并不是一个线性函数了，而是logistic function。 为什么两个不同的算法得出的更新规则几乎看起来一样呢？这个问题吴老师在讲到GLM models会解答。

4、 perceptron learning algorithm（感知器学习算法）

在logistic function中，g函数生成的其实是介于(0,1)之间的数字，如何迫使它只生成0和1两个数字呢？ 所以perceptron algorithm对其进行了一个修正：

参数的更新规则仍采用随机梯度上升：

5、Newton’s method

Lecture3时间不够，吴老师没有来得及讲，留在了下一Lecture