学习
实践
活动
专区
工具
TVP
写文章

Gradient Descent

Gradient Descent 相关概念 1.步长或学习效率(learning rare):步长决定在梯度下降过程中,每一步沿梯度负方向前进的距离。 梯度下降的形式BGD、SGD、以及MBGD 三种算法中文名分别为 批量梯度下降(Batch gradient descent) 批量梯度下降法(Batch Gradient Descent,简称BGD) 随机梯度下降(Stochastic gradient descent) 随机梯度下降是通过每个样本来迭代更新一次, 如果样本量很大的情况(例如几十万),那么可能只用其中几万条或者几千条的样本,就已经将theta 小批量梯度下降(Mini-batch gradient descent) 有上述的两种梯度下降法可以看出,其各自均有优缺点,那么能不能在两种方法的性能之间取得一个折衷呢? 即,算法的训练过程比较快,而且也要保证最终参数训练的准确率,而这正是小批量梯度下降法(Mini-batch Gradient Descent,简称MBGD)的初衷。

37010
  • 广告
    关闭

    新年·上云精选

    热卖云产品新年特惠,2核2G轻量应用服务器9元/月起,更多上云必备产品助力您轻松上云

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    梯度下降(Gradient Descent)小结

    在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度下降法大家族(BGD,SGD,MBGD) 4.1 批量梯度下降法(Batch Gradient Descent)     批量梯度下降法,是梯度下降法最常用的形式,具体做法也就是在更新参数时使用所有的样本来进行更新 4.2 随机梯度下降法(Stochastic Gradient Descent)     随机梯度下降法,其实和批量梯度下降法原理类似,区别在与求梯度时没有用所有的m个样本的数据,而是仅仅选取一个样本j 4.3 小批量梯度下降法(Mini-batch Gradient Descent)   小批量梯度下降法是批量梯度下降法和随机梯度下降法的折衷,也就是对于m个样本,我们采用x个样子来迭代,1<x<m。

    19010

    扫码关注腾讯云开发者

    领取腾讯云代金券