机器学习中的常见问题——几种梯度下降法

一、梯度下降法

在机器学习算法中,对于很多监督学习模型,需要对原始的模型构建损失函数ll,接下来便是通过优化算法对损失函数ll进行优化,以便寻找到最优的参数θ\theta 。在求解机器学习参数θ\theta 的优化算法中,使用较多的是基于梯度下降的优化算法(Gradient Descent, GD)。

梯度下降法有很多优点,其中,在梯度下降法的求解过程中,只需求解损失函数的一阶导数,计算的代价比较小,这使得梯度下降法能在很多大规模数据集上得到应用。梯度下降法的含义是通过当前点的梯度方向寻找到新的迭代点。

二、梯度下降法的集中变形形式

在具体使用梯度下降法的过程中,主要有以下几种不同的变种,即:batch、mini-batch、SGD和online。其主要区别是不同的变形在训练数据的选择上。

4、online gradient descent

对于互联网上的应用来说,数据的获取变得实时,例如推荐中,系统希望能够根据用户的实时的信息对模型进行调整,这样就产生了在线学习,在线学习(Online Learning)算法就是充分利用实时数据的一个训练算法。

在线梯度下降法(Online gradient descent)对于所有训练数据只用一次,然后丢弃。每次根据实时的数据计算梯度,进而调整模型中的参数。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

机器学习算法在自动驾驶汽车中扮演怎样的角色

16130
来自专栏AI科技评论

从模糊到清晰,AI对图片的识别越来越精准| Facebook CVPR2016最新论文

图像边缘的无监督学习 摘要 数据驱动方法在边缘检测领域已被证明是有效的,且在最近的基准测试中取得了顶尖的成绩。然而,目前所有数据驱动的边缘检测都要求以手工标注区...

488100
来自专栏数据科学与人工智能

【机器学习】机器学习从“看”到“做”的实战经验

引言 前阵子看到一篇文章,学习了一段时间的机器学习算法后,再回头看机器学习问题,发现要想利用机器学习去很好的求解一个问题,其实并不是一件容易办到的事情,尤其是能...

24380
来自专栏机器学习算法工程师

《机器学习》笔记-降维与度量学习(10)

如今机器学习和深度学习如此火热,相信很多像我一样的普通程序猿或者还在大学校园中的同学,一定也想参与其中。不管是出于好奇,还是自身充电,跟上潮流,我觉得都值得试一...

15040
来自专栏机器之心

干货 | 物体检测算法全概述:从传统检测方法到深度神经网络框架

机器之心转载 公众号:阅面科技(ID:readsense) 作者:童志军 物体检测一向是比较热门的研究方向,它经历了传统的人工设计特征+浅层分类器的框架,到基于...

45470
来自专栏机器之心

推翻剪枝固有观点?清华、伯克利提出NN过参数化真的不重要

在该论文 ICLR 2019 的双盲审评论区,论文「ThiNet」的一作 Jian-Hao Luo 和论文「通道剪枝」的一作 Yihui He 提出了修改意见。...

13330
来自专栏数据科学与人工智能

【机器学习】机器学习的应用——关于正确应用机器学习

引言 前阵子看到一篇文章,学习了一段时间的机器学习算法后,再回头看机器学习问题,发现要想利用机器学习去很好的求解一个问题,其实并不是一件容易办到的事情,...

27580
来自专栏null的专栏

机器学习的应用——关于正确应用机器学习

引言     前阵子看到一篇文章,学习了一段时间的机器学习算法后,再回头看机器学习问题,发现要想利用机器学习去很好的求解一个问题,其实并不是一件容易办到的事情,...

36370
来自专栏AI科技评论

干货 | 三分钟重新学习交叉验证

AI 科技评论按:文章的作者 Georgios Drakos 是一名数据科学家,通过本文作者向我们介绍了交叉验证的基本概念、作用以及如何使用。AI 科技评论根据...

8110
来自专栏大数据挖掘DT机器学习

机器学习在实践中如何正确应用?

前阵子看到一篇文章,学习了一段时间的机器学习算法后,再回头看机器学习问题,发现要想利用机器学习去很好的求解一个问题,其实并不是一件容易办到的事情,尤其...

39560

扫码关注云+社区

领取腾讯云代金券