TensorFlow 深度学习笔记 Stochastic Optimization

Stochastic Optimization

转载请注明作者:梦里风林 Github工程地址:https://github.com/ahangchen/GDLnotes 欢迎star 官方教程地址 视频/字幕下载

  • 实践中大量机器学习都是通过梯度算子来求优化的
  • 但有一些问题,最大的问题就是,梯度很难计算
  • 我们要计算train loss,这需要基于整个数据集的数据做一个计算
  • 而计算使 train loss 下降最快的调整方向需要的时间是计算train loss本身的三倍
  • 因此有了SGD:Stochastic Gradient Descent
  • 计算train loss时,只随机取一小部分数据集做为输入
  • 调整W和b时,调整的大小step需要比较小,因为数据集小,我们找到的不一定是对的方向
  • 这样也就增加了调整的次数
  • 但可观地减小了计算量

SGD的优化

实际上SGD会使得每次寻找的方向都不是很准,因此有了这些优化

  • 随机的初始值
  • Momentum

考虑以前的平均调整方向来决定每一步的调整方向

  • Learning Rate Decay
  • 训练越靠近目标,步长应该越小
  • Parameter Hyperspace
  • Learning Rate(即调整的step)不是越大越好,可能有瓶颈
  • SGD有许多参数可以调整,所以被称为黑魔法
  • AdaGurad
    • 自动执行momentum和learning rate decay
    • 使得SGD对参数不像原来那样敏感
    • 自动调整效果不如原来的好,但仍然是一个option

觉得得我的文章对您有帮助的话,就给个star吧~

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏marsggbo

DeepLearning.ai学习笔记(二)改善深层神经网络:超参数调试、正则化以及优化--Week2优化算法

1. Mini-batch梯度下降法 介绍 假设我们的数据量非常多,达到了500万以上,那么此时如果按照传统的梯度下降算法,那么训练模型所花费的时间将非常巨大,...

2056
来自专栏机器学习、深度学习

CNN阴影去除--DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal

DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal CVPR201...

3207
来自专栏CreateAMind

以假乱真的生成图片的效果

昨天发的图片是训练到6小时的效果LS-GAN非常棒的效果!,今天略微调整继续训练:也出现了生成网络跟不上判别网络的情况,加快生成网络训练循环。

672
来自专栏本立2道生

论文学习-系统评估卷积神经网络各项超参数设计的影响-Systematic evaluation of CNN advances on the ImageNet

论文状态:Published in CVIU Volume 161 Issue C, August 2017 论文地址:https://arxiv.org/a...

542
来自专栏SIGAI学习与实践平台

轻量化神经网络综述

深度神经网络模型被广泛应用在图像分类、物体检测等机器视觉任务中,并取得了巨大成功。然而,由于存储空间和功耗的限制,神经网络模型在嵌入式设备上的存储与计算仍然是一...

802
来自专栏计算机视觉战队

梯度优化

梯度下降是最流行的优化算法之一并且目前为止是优化神经网络最常见的算法。与此同时,每一个先进的深度学习库都包含各种算法实现的梯度下降(比如lasagne, caf...

3609
来自专栏SIGAI学习与实践平台

轻量化神经网络综述

深度神经网络模型被广泛应用在图像分类、物体检测等机器视觉任务中,并取得了巨大成功。然而,由于存储空间和功耗的限制,神经网络模型在嵌入式设备上的存储与计算仍然是一...

4474
来自专栏决胜机器学习

深层神经网络参数调优(四) ——adam算法、α衰减与局部最优

深层神经网络参数调优(四)——adam算法、α衰减与局部最优 (原创内容,转载请注明来源,谢谢) 一、概述 本文主要讲解另外一种思想的梯度下降——adam,并...

4556
来自专栏人工智能LeadAI

深度学习优化器总结

每次更新我们需要计算整个数据集的梯度,因此使用批量梯度下降进行优化时,计算速度很慢,而且对于不适合内存计算的数据将会非常棘手。批量梯度下降算法不允许我们实时更新...

1013
来自专栏计算机视觉战队

深度学习超参数简单理解

首先谢谢读者的指正,现在已经把所有遮挡的都处理完毕,谢谢您们的指正,谢谢! ---- 正文: 说到这些参数就会想到Stochastic Gra...

3654

扫码关注云+社区