TensorFlow 深度学习笔记 Stochastic Optimization

Stochastic Optimization

转载请注明作者:梦里风林 Github工程地址:https://github.com/ahangchen/GDLnotes 欢迎star 官方教程地址 视频/字幕下载

  • 实践中大量机器学习都是通过梯度算子来求优化的
  • 但有一些问题,最大的问题就是,梯度很难计算
  • 我们要计算train loss,这需要基于整个数据集的数据做一个计算
  • 而计算使 train loss 下降最快的调整方向需要的时间是计算train loss本身的三倍
  • 因此有了SGD:Stochastic Gradient Descent
  • 计算train loss时,只随机取一小部分数据集做为输入
  • 调整W和b时,调整的大小step需要比较小,因为数据集小,我们找到的不一定是对的方向
  • 这样也就增加了调整的次数
  • 但可观地减小了计算量

SGD的优化

实际上SGD会使得每次寻找的方向都不是很准,因此有了这些优化

  • 随机的初始值
  • Momentum

考虑以前的平均调整方向来决定每一步的调整方向

  • Learning Rate Decay
  • 训练越靠近目标,步长应该越小
  • Parameter Hyperspace
  • Learning Rate(即调整的step)不是越大越好,可能有瓶颈
  • SGD有许多参数可以调整,所以被称为黑魔法
  • AdaGurad
    • 自动执行momentum和learning rate decay
    • 使得SGD对参数不像原来那样敏感
    • 自动调整效果不如原来的好,但仍然是一个option

觉得得我的文章对您有帮助的话,就给个star吧~

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 稳!DeepMind提出多任务强化学习新方法Distral

选自arXiv 机器之心编译 参与:蒋思源、黄小天 深度强化学习因为复杂的环境而很难进行有效的训练,通常我们会简化环境或使用共享神经网络参数的方法进行多任务学习...

2645
来自专栏计算机视觉战队

深度学习超参数简单理解

首先谢谢读者的指正,现在已经把所有遮挡的都处理完毕,谢谢您们的指正,谢谢! ---- 正文: 说到这些参数就会想到Stochastic Gra...

3504
来自专栏ATYUN订阅号

谷歌研究利用AI合成图片,使静态图片动起来

谷歌的研究人员开发了一个基于深度学习的系统,可以将立体相机,VR相机和双镜头相机(如iPhone 7或X)拍摄的静态图像转换为短视频。

952
来自专栏数据小魔方

excel数据分析工具库系列四|假设检验

今天要跟大家分享的是excel数据分析工具库系列四——假设检验! 一共会讲到关于假设检验的5个知识点: Z-检验:双样本均值差检验 T-检验:平均值的成对二样本...

3376
来自专栏瓜大三哥

CNN-3DMM extimation(0.9235)

当在真实场景中应用3d模拟来增加人脸识别精度,存在两类问题:要么3d模拟不稳定,导致同一个个体的3d模拟差异较大;要么过于泛化,导致大部分合成的图片都累死。因此...

27110
来自专栏智能算法

初识支持向量机原理

支持向量机作为机器学习中最为难于理解的算法,小编将以三篇的篇幅去讲解小编自己理解的SVM算法。主要包括:初识支持向量机原理、SVM如何解决线性不可分、SVM实践...

3106
来自专栏数说工作室

留一交叉验证及SAS代码

在数据量很少,用什么模型?(点击查看)中,我们总结过当数据量很少时如何选择模型和方法,以使得数据能够最大限度的得到利用。 其中有一个方法就是做交叉验证。 我有备...

3266
来自专栏计算机视觉与深度学习基础

【深度学习】谷歌deepdream原理及tensorflow实现

什么是DeepDream? DeepDream是谷歌发布的对卷积神经网络(CNN)进行可视化的方法,当然它的用途不仅限于此,我们可以通过它让机器“做梦”,以下是...

3324
来自专栏生信小驿站

使用R语言进行机器学习特征选择①

特征选择是实用机器学习的重要一步,一般数据集都带有太多的特征用于模型构建,如何找出有用特征是值得关注的内容。

1244
来自专栏用户2442861的专栏

形象易懂讲解算法II——压缩感知

作者:咚懂咚懂咚 链接:https://zhuanlan.zhihu.com/p/22445302 来源:知乎 著作权归作者所有。商业转载请联系作者获得授...

652

扫码关注云+社区