专栏首页null的专栏机器学习中的常见问题——几种梯度下降法

机器学习中的常见问题——几种梯度下降法

一、梯度下降法

在机器学习算法中,对于很多监督学习模型,需要对原始的模型构建损失函数ll,接下来便是通过优化算法对损失函数ll进行优化,以便寻找到最优的参数θ\theta 。在求解机器学习参数θ\theta 的优化算法中,使用较多的是基于梯度下降的优化算法(Gradient Descent, GD)。

梯度下降法有很多优点,其中,在梯度下降法的求解过程中,只需求解损失函数的一阶导数,计算的代价比较小,这使得梯度下降法能在很多大规模数据集上得到应用。梯度下降法的含义是通过当前点的梯度方向寻找到新的迭代点。

二、梯度下降法的集中变形形式

在具体使用梯度下降法的过程中,主要有以下几种不同的变种,即:batch、mini-batch、SGD和online。其主要区别是不同的变形在训练数据的选择上。

1、batch gradient descent

批梯度下降法(Batch Gradient Descent)针对的是整个数据集,通过对所有的样本的计算来求解梯度的方向。

批梯度下降法的损失函数为:

J(θ)=12mi=1m((x(i))−y(i))2

J(\theta ) = \frac{1}{{2m}}\sum\limits_{i = 1}^m {{{({h_\theta }({x^{(i)}}) - {y^{(i)}})}^2}}

针对上述的损失函数,在批梯度的优化过程中,对每一个样本都需要计算其梯度,批梯度的优化过程为:

repeate{θ:=θα1mi=1m((x(i))−y(i))x(i)j}

\begin{array}{l} repeate\{ \\ \; \; \; \; \theta : = \theta - \alpha \frac{1}{m}\sum\limits_{i = 1}^m ( {h_\theta }({x^{(i)}}) - {y^{(i)}})x_j^{(i)}\\ \} \end{array}

2、mini-batch gradient descent

在上述的批梯度的方式中每次迭代都要使用到所有的样本,对于数据量特别大的情况,如大规模的机器学习应用,每次迭代求解所有样本需要花费大量的计算成本。是否可以在每次的迭代过程中利用部分样本代替所有的样本呢?基于这样的思想,便出现了mini-batch的概念。

假设训练集中的样本的个数为nn,则每个mini-batch只是其一个子集,假设,每个mini-batch中含有bb个样本,这样,整个训练数据集可以分为n/bn/b个mini-batch。

{foreachωkinΩ:θ:=θα1bi=1b((x(i))−y(i))x(i)}for(k=1,2...m/b)

\begin{array}{l} \{ {\rm{ for\; each\; }}{\omega _k\; }{\rm{ in }\; }\Omega :\\ {\rm{ }}\; \; \; \; \; \theta : = \theta - \alpha \frac{1}{b}\sum\limits_{i = 1}^b ( {h_\theta }({x^{(i)}}) - {y^{(i)}}){x^{(i)}}\\ {\rm{ }}\} for(k = 1,2...m/b)\\ \end{array}

3、stochastic gradient descent

随机梯度下降算法(stochastic gradient descent)可以看成是mini-batch gradient descent的一个特殊的情形,即在随机梯度下降法中每次仅根据一个样本对模型中的参数进行调整,等价于上述的b=1情况下的mini-batch gradient descent,即每个mini-batch中只有一个训练样本。

随机梯度下降法的优化过程为:

{foreachxi:θ:=θα((x(i))−y(i))x(i)}

\begin{array}{l} \{ {\rm{ for\; each\; }}{x^{i} } :\\ {\rm{ }}\; \; \; \; \; \theta : = \theta - \alpha ( {h_\theta }({x^{(i)}}) - {y^{(i)}}){x^{(i)}}\\ {\rm{ }}\}\\ \end{array}

4、online gradient descent

对于互联网上的应用来说,数据的获取变得实时,例如推荐中,系统希望能够根据用户的实时的信息对模型进行调整,这样就产生了在线学习,在线学习(Online Learning)算法就是充分利用实时数据的一个训练算法。

在线梯度下降法(Online gradient descent)对于所有训练数据只用一次,然后丢弃。每次根据实时的数据计算梯度,进而调整模型中的参数。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 简单易学的机器学习算法——Logistic回归

    一、Logistic回归的概述     Logistic回归是一种简单的分类算法,提到“回归”,很多人可能觉得与分类没什么关系,Logistic回归通过对数据分...

    zhaozhiyong
  • 优化算法——梯度下降法

    一、优化算法概述     优化算法所要求解的是一个问题的最优解或者近似最优解。现实生活中有很多的最优化问题,如最短路径问题,如组合优化问题等等,同样,也存在很多...

    zhaozhiyong
  • 可扩展机器学习——梯度下降(Gradient Descent)

    注:这是一份学习笔记,记录的是参考文献中的可扩展机器学习的一些内容,英文的PPT可见参考文献的链接。这个只是自己的学习笔记,对原来教程中的内容进行了梳理,有些图...

    zhaozhiyong
  • 如果你经常用PubMed,那么这个插件将非常好用!

    生信宝典
  • ELK实时日志管理-报错与解决

    解决方案: 1. 重新安装新版本的Linux系统 2. 警告不影响使用,可以忽略

    汐楓
  • 《写给大家看的设计书》摘要与总结

    该书适合完全没有设计背景,或在设计方面没有经过正规培训的人。 该书的描述浅显易懂,并且配有很多插图来做描述的说明。阅读起来觉得很轻松。

    用户2930719
  • 证书与私钥不对应报错解决方法

    导入证书至腾讯云控制台,偶尔会出现“证书与私钥不对应”报错信息,本文记录其解决方法

    陈佳
  • Mybatis中的动态sql语句 if标签 where标签 foreach标签 sql标签

    传入多个 id 查询用户信息,用下边两个 sql 实现: SELECT * FROM USERS WHERE username LIKE ‘%张%’ AND (...

    韦恩少爷的背
  • SqlException:ConnectionTimeout Expired. The timeout period elapsed during the po

    linux系统部署.netcore程序后,访问某台sqlserver 2008 R2数据库

    HueiFeng
  • 业界 | 谷歌发布TensorFlow 1.3.0版本,新加多个分类器、回归器

    机器之心

扫码关注云+社区

领取腾讯云代金券