每天十分钟机器学习之十：梯度下降算法之三

上两讲中把梯度下降算法的原理和意义说明白了，本讲想通过单变量线性回归模型来介绍一下梯度下降算法的应用。

应用梯度下降算法之前，首先要有代价函数（请参考代价函数的那几讲），接下来我们先回忆一下单变量线性回归的代价函数，好了，我们直接看下图，左侧部分是梯度下降的原理，右侧部分是单变量线性回归的代价函数，现在要将梯度下降和代价函数结合，看看梯度下降在代价函数中的应用。

梯度下降算法和线性回归算法比较如图：

对单变量的线性回归问题运用梯度下降法，关键在于求出代价函数的导数，即：

j=0时：

j=1时：

则算法改写成：

吴恩达老师重点强调：在梯度下降算法中，有时也称为批量梯度下降。在这里特殊说明一下，批量梯度下降指的是在梯度下降的每一步中，我们都用到了所有的训练样本进行更新。

另外还有随机梯度下降，就是每次迭代过程中只使用一个样本进行更新，具体如下：

祝您的机器学习之旅愉快！

本文参考资料：斯坦福吴恩达老师的机器学习讲义，图片直接来自讲义；