CS229 课程笔记之一：线性回归

1 算法简介

线性回归是一种监督学习算法，即给定一个训练集，去学习一个假设函数，用来尽量精确地预测每个样本对应的输出。从输出变量的离散程度来看，监督学习算法可以分为两类。线性回归属于回归算法，其输出变量连续；而另一类监督学习算法是分类算法，其输出变量离散。

2 求解方法

对于线性回归代价函数的求解，有两种可选方法：梯度下降与正规方程。

2.1 梯度下降

2.1.1 分类

梯度下降主要可以分为两类：批量梯度下降和随机梯度下降：

• 批量梯度下降：每次计算梯度都需要遍历所有的样本点，当样本量很大时， 计算速度会⼗分缓慢
• 随机梯度下降：每次只考虑一个样本点，⽽不是所有样本点，计算速度会提⾼， 但是收敛过程会⽐较曲折， 可能无法精确收敛⾄最优值

随机梯度下降的一种优化形式是⼩批量梯度下降，利⽤矩阵并行运算，一次处理小批量的样本点，有时可以⽐随机梯度下降速度更快。

2.1.2 梯度方向的选择

选择梯度⽅向的原因是它是使代价函数减小（下降）最⼤的⽅向，我们可以利用柯⻄不等式对这一结论进行证明：

4 局部加权线性回归

本节将介绍⼀种特殊的线性回归算法：局部加权线性回归。

4.1 欠拟合与过拟合

对于传统的线性回归，特征的选择极为重要，对于下面三幅图，我们称第一幅图的模型是欠拟合，第三幅图的模型则是过拟合（之后的笔记中会详细介绍）。

可以看出，找到一个全局的线性模型去拟合整个训练集，并不是一件简单的事情，往往会引起欠拟合或是过拟合的发生。对于这种情况之后会给出解决方案，而这里我们提出了另外一种思路，即局部线性加权回归，这种方案可以使特征的选择的重要性降低。

4.3 参数学习与非参数学习

局部加权线性回归本质上是一种非参数学习算法，而传统的线性回归是一种参数学习算法。

两者的区别在于：

• 参数学习算法有一组有限的、固定的参数，一旦完成拟合，只需要保存下参数值做预测，而不需要保存完整的训练集；
• 非参数学习算法由于参数不固定，所以需要保存完整的训练集来进行预测，而不仅仅是保存参数。

非参数学习导致的结果：为了表达假设 而保存的数据将随着训练集的大小而线性增长。

5 思维导图