每天十分钟机器学习之十一:梯度下降算法之四

上一讲结合单边量线性回归阐述了梯度下降的过程,今天要稍微复杂一点,结合多变量的线性回归再次阐述一下梯度下降的过程,与单变量线性回归类似,在多变量线性回归中,我们也构建一个代价函数,则这个代价函数是所有建模误差的平方和,即:

我们的目标和单变量线性回归问题中一样,就是要找出使得代价函数最小的一系列参数。其实多变量唯一比较复杂的就是,参数会变多,每次迭代的时候需要求的参数增多而已,其余和单变量的梯度下降没有区别,多变量线性回归的批量梯度下降算法为:

即:

求导数后得到:

当n>=1时,假设有三个参数,如果参数再多,方法类似,这里唯一涉及难点就是复合函数的求导问题,这个属于高数的基础知识了,大家可以找资料学习一下。

对于参数的初始值随机选择一组即可,然后按照上面的步骤反复迭代,直到收敛。

祝您的机器学习之旅愉快!

本文参考资料:斯坦福吴恩达老师的机器学习讲义,图片直接来自讲义;

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20181114G1FJ1R00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券