4吴恩达Meachine-Learing之多变量线性回归(Linear-Regression-with-Multiple-Variables

4.1 多维特征（Multiple Features）

目前为止，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征， 例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为（x1,x2,…,xn）。

增添更多特征后，我们引入一系列新的注释：

此时模型中的参数是一个n+1 维的向量，任何一个训练实例也都是n+1 维的向量，特 征矩阵X 的维度是 m*(n+1)。 因此公式可以简化为：

其中上标T代表矩阵转置

多变量梯度下降（Gradient Descent for Multiple Variables）

与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价 函数是所有建模误差的平方和，即：

梯度下降法实践 1-特征缩放（Gradient Descent in Practice I - Feature Scaling）

在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯 度下降算法更快地收敛。 以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0- 2000 平方英尺，而房间数量的值则是 0-5，以两个参数分别为横纵坐标，绘制代价函数的等 高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。

解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。如图

4.4 梯度下降法实践 2-学习率（ 4 - 4 - Gradient Descent in Practice II - Learning Rate ）

4.5 特征和多项式回归（Features and Polynomial Regression） 如房价预测问题，

通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外，我们可以令：

从而将模型转化为线性回归模型。 根据函数图形特性，我们还可以使：

4.6 正规方程

到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法 是更好的解决方案。如：

即：

运用正规方程法求解参数：

总结一下，只要特征变量的数目并不大，标准方程是一个很好的计算参数 θ 的替代方 法。具体地说，只要特征变量数量小于一万，我通常使用标准方程法，而不使用梯度下降法。 随着我们要讲的学习算法越来越复杂，例如，当我们讲到分类算法，像逻辑回归算法， 我们会看到， 实际上对于那些算法，并不能使用标准方程法。对于那些更复杂的学习算法， 我们将不得不仍然使用梯度下降法。因此，梯度下降法是一个非常有用的算法，可以用在有 大量特征变量的线性回归问题。或者我们以后在课程中，会讲到的一些其他的算法，因为标 准方程法不适合或者不能用在它们上。但对于这个特定的线性回归模型，标准方程法是一个 比梯度下降法更快的替代算法。所以，根据具体的问题，以及你的特征变量的数量，这两种 算法都是值得学习的。

课程代码：https://github.com/HuangCongQing/MachineLearning_Ng 本文参考自-黄海广博士 斯坦福大学 2014机器学习教程中文 笔记 链接：http://pan.baidu.com/s/1dF2asvf 密码：1ewf

分享吴恩达机器学习视频 下载 链接： 链接： http://pan.baidu.com/s/1pKLATJl 密码： xn4w