[改善深度神经网络] Optimization algorithms习题解析

这是[改善深度神经网络]课程第二周的习题,一共10道。

解答:

[l]表示第l层,{l}表示第l个minibatch,(l)表示第l个样本。

答案选项3

解答:

选项1是肯定的,一个mini-batch的数据小于总样本,所以仅就一次迭代而言,mini-batch是快于整批迭代的。

一个epoch的mini-batch梯度递减迭代无法完全向量化所有样本,存在for循环,所以速度慢于整批迭代。

mini-batch梯度递减迭代需要for循环处理不同批次的数据,所以选项3也是错误的。

答案是选项1

解答:

如果mini-batch的大小为m,就是批量梯度递减迭代,而mini-batch的大小为1,就退化为随机梯度递减迭代,无法享受到向量化带来的好处。

答案选项2、4

解答:

mini-batch可能局部存在代价增加的情况,但总体上应该是下降的。批量梯度递减则应该是严格单调下降的。

答案是选项1

解答:

因为没有最开始的数据,所以v2在未校正前无法反映真实数据,小于平均值,校正之后正常,答案是选项3

解答:

选项3的alpha值随着t的增加,不断增加,是错误的方案。

答案选项3

解答:

增加beta值使得曲线更加平滑,同时整个曲线也会右移。

答案是选项2、3

解答:

1的下降曲线波动幅度最大,没有动量加速,增加beta值,下降曲线波动幅度减小,所以答案是选项3

解答:

加快学习速度的方法有:增加学习率、使用Adam优化、mini-batch梯度递减、精心选择的权重初始化值。而将权重值初始化为0或导致权重对称问题,不能采用。

答案是选项1、2、4、5

解答:

Adam优化用于mini-batch梯度递减,而不是批量梯度递减。

所以答案是选项2。

原文发布于微信公众号 - 云水木石(ourpoeticlife)

原文发表时间:2018-06-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券