每天十分钟机器学习之十:梯度下降算法之三

上两讲中把梯度下降算法的原理和意义说明白了,本讲想通过单变量线性回归模型来介绍一下梯度下降算法的应用。

应用梯度下降算法之前,首先要有代价函数(请参考代价函数的那几讲),接下来我们先回忆一下单变量线性回归的代价函数,好了,我们直接看下图,左侧部分是梯度下降的原理,右侧部分是单变量线性回归的代价函数,现在要将梯度下降和代价函数结合,看看梯度下降在代价函数中的应用。

梯度下降算法和线性回归算法比较如图:

对单变量的线性回归问题运用梯度下降法,关键在于求出代价函数的导数,即:

j=0时:

j=1时:

则算法改写成:

吴恩达老师重点强调:在梯度下降算法中,有时也称为批量梯度下降。在这里特殊说明一下,批量梯度下降指的是在梯度下降的每一步中,我们都用到了所有的训练样本进行更新。

另外还有随机梯度下降,就是每次迭代过程中只使用一个样本进行更新,具体如下:

祝您的机器学习之旅愉快!

本文参考资料:斯坦福吴恩达老师的机器学习讲义,图片直接来自讲义;

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181112G1IM2D00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券