专栏首页嘘、小点声按部就班的吴恩达机器学习网课用于讨论(15)

按部就班的吴恩达机器学习网课用于讨论(15)

大规模机器学习-学习大数据集

数据越多,自然训练效果越好,在训练过程中,过拟合与欠拟合的指标通过绘图确定,据此调整超参数。

在此前的批梯度下降法的过程中,当数据集过大时候,由于如下计算式子中要求遍历所有数据得到一次更新,其计算成本过于昂贵。因此,如果裁剪数据集的大小,如果也能够达到相同的训练效果,则不需要使用原始数据集。

随机梯度下降

随机梯度下降,将数据进行随机洗牌,然后在更新theta参数时,只使用其中一个样本。训练时重复遍历样本多次,最终结果仍然会收敛到一个较好的局部最优。

小批量梯度下降

小批量梯度下降,介于批梯度下降和随机梯度下降之间。当样本数量m=1000时,而小批量数量b=10,则有如下算法。其中i 进行遍历到数据集末尾m-b+1,计算梯度过程中求均方差过程求导以后使用的除数为b,遍历的小批量为i+b-1。

随机梯度下降收敛

收敛性检查,使用的批梯度下降方法和随机梯度下降方法如下图,批梯度下降方案过于耗时,而随机梯度下降,通过收集一定步数的cost值,然后求得平均,得到一个近似的误差J,作为参考,通过绘图,用于判断梯度下降的效果,模型是否错误等。

另外,梯度下降过程中的学习率alpha,可以随着迭代次数的增大而减小,但是其额外引入的两个超参数又是一个问题。

在线学习

在线学习基本使用的是随机梯度下降的方案吧,因为数据集是实时更新的,所以在如下的包裹运送示例中,当用户做出一次决定,则产生一个或者一批的数据量,将这些数据进行学习,并丢弃数据,循环往复,获得一个动态的定价模型,以最大化购买量(收益吧)。

映射化简和数据并行

该部分的主要思想是,将一个小批量的数据(如400),分为数份(如4份),分别通过数个机器(如4个),计算梯度值,然后将所有的计算结果,结合到一个模型中,以加速神经网络的训练过程。

一些高级的函数库也已经能够使用单个机器多CPU的方案,也就是并行化在一个多核的机器上运行,以加速训练过程。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 按部就班的吴恩达机器学习网课用于讨论(2)

    梯度下降的伪代码如左下,计算误差函数J的梯度,完成一次更新误差函数中的变参,使得误差函数的值尽量最小化。

    嘘、小点声
  • MYSQL多表查询与事务

    select * from emp,dept where emp.`dept_id` = dept.`id`;#设置过滤条件(隐式内连接)

    嘘、小点声
  • python网络爬虫(1)静态网页抓取

    POST请求发送表单信息,密码不显示在URL中,数据字典发送时自动编码为表单形式。

    嘘、小点声
  • 对于小批量梯度下降以及如何配置批量大小的入门级介绍

    随机梯度下降是训练深度学习模型的主要方法。

    用户1284604
  • 为什么ResNet和DenseNet可以这么深? | 一文详解残差块为何能解决梯度弥散问题

    传统的“提拉米苏”式卷积神经网络模型,都以层叠卷积层的方式提高网络深度,从而提高识别精度。但层叠过多的卷积层会出现一个问题,就是梯度弥散(Vanishing),...

    用户1332428
  • 详解机器学习中的梯度消失、爆炸原因及其解决方法

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/d...

    DoubleV
  • 机器学习 学习笔记(3) 梯度下降

    梯度下降法是一种常用的一阶优化方法,是求解无约束优化问题最简单、最经典的方法之一。

  • 学界 | 深度梯度压缩:降低分布式训练的通信带宽

    选自arXiv 机器之心编译 参与:Panda ICLR 2018 将在当地时间明年 4 月 30 日~5 月 3 日在加拿大温哥华举办。目前正处于评审阶段的会...

    机器之心
  • 为什么ResNet和DenseNet可以这么深?一文详解残差块为何有助于解决梯度弥散问题

    传统的“提拉米苏”式卷积神经网络模型,都以层叠卷积层的方式提高网络深度,从而提高识别精度。但层叠过多的卷积层会出现一个问题,就是梯度弥散(Vanishing),...

    AI研习社
  • 开发 | 为什么ResNet和DenseNet可以这么深?一文详解残差块为何有助于解决梯度弥散问题。

    AI科技评论按:本文作者Professor ho,原文载于其知乎主页,雷锋网获其授权发布。 传统的“提拉米苏”式卷积神经网络模型,都以层叠卷积层的方式提高网络深...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券