专栏首页Soul Joy Hub《深度学习Ng》课程学习笔记02week2——优化算法

《深度学习Ng》课程学习笔记02week2——优化算法

http://blog.csdn.net/u011239443/article/details/78066082

2.1 Mini-batch 梯度下降法

2.2 理解 mini-batch 梯度下降法

2.3 指数加权平均

对温度做指数加权平均曲线:

β = 0.98 时,会得到更加平缓的曲线,如图绿色。 β = 0.5 时,会得到更加波动的曲线,如图黄色。

2.4 理解指数加权平均

2.5 指数加权平均的偏差修正

当在训练刚刚开始的时候,v会很小,为了修正这种偏差,我们可以使用以下方法:

2.6 动量梯度下降法(momentun)

梯度下降中,随着迭代次数的增加,我们需要将变化的幅度越来越小。这就使用到了动量梯度下降法:

之所以叫动量梯度下降法,是因为从另外一个角度看,是在改变下降的速度:

v’ = 摩擦力影响比率*原来速度v + 加速

2.7 RMSprop

2.8 Adam 优化算法

Adam 就是 momentun 和 RMSprop的结合:

2.9 学习率衰减

减小幅度还可以用学习率衰减:

2.10 局部最优的问题

当特征维度非常大时,我们的最优化问题通常不是一个局部极小点或者局部极大点,而是鞍点。 当 Hessian 是正定的(所有特征值都是正的),则该临界点是局部极小点。当 Hessian 是负定的(所有特征值都是负的),这个点就是局部极大点。在多维情况下,实际上我们可以找到确定该点是否为鞍点的积极迹象(某些情况下)。如果 Hessian 的特征值中至少一个是正的且至少一个是负的,那么 x 是 f 某个横截面的局部极大点,却是另一个横截面的局部极小点。

走去鞍点的平缓区的方法是使用如Adam、momentun 和 RMSprop算法。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 对抗机器学习模型

    随着AI时代机器学习模型在实际业务系统中愈发无处不在,模型的安全性也变得日渐重要。机器学习模型很可以会遭到恶意攻击,比较直接就能想到的如:人脸识别模型的攻击。训...

    用户1621453
  • 《深度学习Ng》课程学习笔记02week1——深度学习的实用层面

    http://blog.csdn.net/u011239443/article/details/77947043

    用户1621453
  • 移动电影售票系统案例分析

    智能手机及移动互联网的普及,手机购票成为网络购物常见的应用形式之一。本项目名称为:本项目名称为:XX 票务(可以是电影票、演出票…)销售系统,系统目标是实现在...

    用户1621453
  • Gmail测试工程经理Ankit Mehta的访谈

    张树臣
  • 【新梦想干货】从性格和能力出发,你是否适合做一名优秀软件测试工程师?

    软件测试工程师的主要工作职责是,理解产品的功能要求,并对其进行测试,检查软件有没有Bug,决定软件是否具有稳定性,写出相应的测试规范和测试案例。简而言之,软件测...

    新梦想IT职业教育
  • 利用ScriptEngineManager实现字符串公式灵活计算

    我们知道js的eval()方法可以执行字符串的代码 而恰好jdk6增加了对脚本语言的支持 我们可以利用这个特性对计算实现简单化的处理 

    动力节点Java学院
  • Do you kown Asp.Net Core -- 配置Kestrel端口

    Kestrel介绍 在Asp.Net Core中,我们的web application 其实是运行在Kestrel服务上,它是一个基于libuv开源的跨平台可运...

    脑洞的蜂蜜
  • 吴恩达机器学习笔记 —— 18 大规模机器学习

    有的时候数据量会影响算法的结果,如果样本数据量很大,使用梯度下降优化参数时,一次调整参数需要计算全量的样本,非常耗时。

    用户1154259
  • C++ atof函数

               atof()会扫描参数nptr字符串,跳过前面的空格字符,直到遇上数字或正负符号才开始做转换,而再遇到非数字或字符串结束时('\0')才...

    AIHGF
  • 基于zxing的二维码扫描

    现在的应用中二维码扫描已经成为一个应用必不可少的功能,现在大部分Android二维码扫描都是基于zxing和Zbar,这文章就来介绍一下基于zxing的二维码扫...

    g小志

扫码关注云+社区

领取腾讯云代金券