[改善深度神经网络] Practical aspects of deep learning习题解析

这是[改善深度神经网络]课程第一周的习题,一共10道。

解答:

对于普通规模的机器学习,train/dev/test数据集的划分比例通常为60/20/20,但对于大规模的数据另当别论,本题有一百万数据样本,测试数据集只需一万就足够了,所以划分比例为98/1/1,答案选项2。

解答:

dev和test数据集应该具有相同的分布,答案是选项1。

解答:

避免过拟合的方法是正则化、增加训练数据集,而增加隐藏层单元、增加神经网络深度只会加剧过拟合,增加测试数据既不会增加也不会减少过拟合。

答案是选项1、5

解答:

题中描述的是过拟合,要避免过拟合,可以增加超参数lambda,另外增加训练数据也是一个好方法。使用更大的神经网络只会扩大过拟合。

答案是选项1、3

解答:

所谓权重递减,就是在每次迭代中缩减权重,L2 regularization也叫weight decay。

答案是选项3

解答:

增加超参数lambda将减少权重,可以有效避免过拟合,所以答案是选项1。

解答:

为了保证测试结果不随机,所以在测试阶段不会随机丢弃单元,相应的,也不需要1/keep_prob因子,答案为选项1。

解答:

增加keep_prob,相当于增加了参与激活的单元,这会减弱正则化的效果,会降低训练误差,但会增加测试误差,即增加过拟合。

答案是选项2、4

解答:

减少方差的方法有:扩大数据、随机dropout、L2正则化。Xavler Initialization是为了避免Exploding gradient/Vanishing gradient,加速学习,而梯度检查则是为了保证反向传播实现正确,与减少过拟合无关。

答案是选项2、4、6

解答:

规格化输入是为了加快代价函数的优化,提升学习速度。答案是选项3。

原文发布于微信公众号 - 云水木石(ourpoeticlife)

原文发表时间:2018-06-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券