TensorFlow 深度学习笔记 Stochastic Optimization

Stochastic Optimization

转载请注明作者:梦里风林 Github工程地址:https://github.com/ahangchen/GDLnotes 欢迎star 官方教程地址 视频/字幕下载

  • 实践中大量机器学习都是通过梯度算子来求优化的
  • 但有一些问题,最大的问题就是,梯度很难计算
  • 我们要计算train loss,这需要基于整个数据集的数据做一个计算
  • 而计算使 train loss 下降最快的调整方向需要的时间是计算train loss本身的三倍
  • 因此有了SGD:Stochastic Gradient Descent
  • 计算train loss时,只随机取一小部分数据集做为输入
  • 调整W和b时,调整的大小step需要比较小,因为数据集小,我们找到的不一定是对的方向
  • 这样也就增加了调整的次数
  • 但可观地减小了计算量

SGD的优化

实际上SGD会使得每次寻找的方向都不是很准,因此有了这些优化

  • 随机的初始值
  • Momentum

考虑以前的平均调整方向来决定每一步的调整方向

  • Learning Rate Decay
  • 训练越靠近目标,步长应该越小
  • Parameter Hyperspace
  • Learning Rate(即调整的step)不是越大越好,可能有瓶颈
  • SGD有许多参数可以调整,所以被称为黑魔法
  • AdaGurad
    • 自动执行momentum和learning rate decay
    • 使得SGD对参数不像原来那样敏感
    • 自动调整效果不如原来的好,但仍然是一个option

觉得得我的文章对您有帮助的话,就给个star吧~

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

一文教你实现skip-gram模型,训练并可视化词向量

在本教程中,我将展示如何在Tensorflow中实现一个Word2Vec(Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型,它被大量地用在...

3774
来自专栏文武兼修ing——机器学习与IC设计

神经网络压缩实验-Deep-compression实验准备剪枝实验量化实验

为了实现神经网络的deep compression,首先要训练一个深度神经网络,为了方便实现,这里实现一个两层卷积+两层MLP的神经网络

1572
来自专栏机器之心

机器之心GitHub项目:从零开始用TensorFlow搭建卷积神经网络

机器之心原创 参与:蒋思源 机器之心基于 Ahmet Taspinar 的博文使用 TensorFlow 手动搭建卷积神经网络,并提供所有代码和注释的 Jupy...

5558
来自专栏GAN&CV

3D卷积简介

注:本文首发在微信公众号-极市平台。如需转载,请联系微信Extreme-Vision

1773
来自专栏CreateAMind

Efficient Deep Learning for Stereo Matching:代码

在今年6月于美国拉斯维加斯召开的CVRP大会上,多伦多大学的Raquel Urtasun教授和她的学生改进了深度学习中的Siamese网络,用一个内积层代替了拼...

1122
来自专栏奇点大数据

再免费多看一章--最近质心

算法很简单,取训练样本每种类别的平均值当做聚类中心点,待分类的样本离哪个中心点近就归属于哪个聚类 。 ? 在《白话大数据与机器学习》里使用了sklearn里的N...

3348
来自专栏深度学习那些事儿

深度学习中数据集很小是一种什么样的体验

今天提一个比较轻松的话题,简单探讨数据集大小对深度学习训练的影响。 不知道大家有没有看过这篇文章:Don’t use deep learning your d...

6353
来自专栏天天P图攻城狮

Android图像处理 - 高斯模糊的原理及实现

本文首先介绍图像处理中最基本的概念:卷积;随后介绍高斯模糊的核心内容:高斯滤波器;接着,我们从头实现了一个Java版本的高斯模糊算法,以及实现RenderScr...

1.4K10
来自专栏前端知识分享

第156天:canvas(三)

​ translate方法接受两个参数。x 是左右偏移量,y 是上下偏移量,如右图所示。

671
来自专栏数据处理

one-vs-rest与one-vs-one以及sklearn的实现

3684

扫码关注云+社区