Coursera上吴恩达的机器学习 第二周课程的摸鱼笔记

一、多变量回归（以多变量线性回归为例）

1.模型表示

前面说过，单变量线性回归是最简单的回归。但是，大多数情况下，我们想知道的值可能会受诸多因素的影响而改变，这时就需要引入多变量回归来帮助我们完成假设。

以最容易被理解的多变量的线性回归为例，其假设模型为：

为便于表述，我们可以向量化（vectorize）这个式子。较常规的循环写法而言，向量化写法能让式子变得更加简洁，且容易进行并行计算，向量化后的假设模型变为：

其中，我们用二维的向量θ来表示所有一维标量θi的集合，用二维的向量x来表示所有一维标量xi的集合，T符号表示对θ进行转置。

2.代价函数

我们仍用均方误差（MSE）来表示此时的代价函数，同样，其也被向量化，表示为：

也可通过运行梯度下降算法来降低J(θ)。

3.特征缩放（Feature Scaling）

大多数情况下，给假设模型输入的每个参数，对假设值的影响权重都是不一样的，有的参数可能变化很大才会让假设值动一点点，而有的参数仅变化一点点就会让假设值变化很多。

例如有一个假设模型，其J(θ)与θ1,θ2（例如x1范围为0-2000而x2范围为1-5）的关系如下图：

对于这样的代价函数，梯度下降每次迭代时，J可能会像图中这样进行很多次左右移动，虽然它每次确实都在下降，但实际上每次下降的值可能很少，这会造成迭代次数过多，运行缓慢。

这时，就需要进行特征缩放了，使各参数处在相近的数量级之后再进行梯度下降。

例如，我们令：

于是，x1和x2的范围都变为了0-1，处在了同一数量级，此时J(θ)与θ1,θ2的关系图就变成了下面这样。

梯度下降运行起来快多了。

4.其它多变量回归

线性回归可推广为更多情形，例如：

·多项式回归

·logistic回归

等等等等

所有回归问题都可以通过进行梯度下降来确定合适的参数，不过对于很多问题，会使用一些优化后的方法来进行梯度下降，或者使用正规方程法等其他方法来确定参数，更多优化梯度下降的方法和其他方法需要阅读更多其他资料才可知道。

二、正规方程（Normal Equation）

1.什么是正规方程

正规方程法是一种直接获得线性假设模型的合适的参数的方法，其使用基于最小二乘法的正规方程（Normal Equation，也可叫做普通方程、标准方程等）：

直接计算此方程的值，即可获得合适的θ。

2.正规方程法的优缺点

正规方程法不需要选择学习率，也不需要进行多次迭代。

但是，计算XTX的逆矩阵的时间复杂度为O(n^3)，所以，n过大时，正规方程法的运行速度会变得过于缓慢。