《Improving Deep Neural Networks》的理论知识点

原文博客：Doi技术团队 链接地址：https://blog.doiduoyi.com/authors/1584446358138 初心：记录优秀的Doi技术团队学习经历

目录

文章目录

• 目录
• 深度学习的实践方面
• 优化算法
• 超参数调整，批量标准化，编程框架

深度学习的实践方面

1. 如果有10,000,000个例子，数据集拆分一般是98%训练，1%验证，1%测试。
2. 验证和测试的数据集通常是来自同样的分配。
3. 如果神经网络模型有很大的差异，一般的解决办法是增加数据集和添加正则。
4. 当训练集错误较小，而验证集较大时，通常是增加正则lambda、增加数据集。
5. 当增加正则化超参数lambda时，权重会被推向更小，接近0.
6. 将参数keep_prob从（比如说）0.5增加到0.6可能会导致减少正则效应、最终导致更小的训练集数据的错误。
7. 增加训练集、添加Dropout、加正则可以减少方差（减少过度拟合）。
8. 权重衰减是一种正则化技术(如L2正规化), 导致梯度下降在每次迭代中收缩权重。
9. 我们归一化输入的X，是因为这个可以使得损失函数更快地进行优化。
10. 在测试使用反向dropout方法时，不要使用dropout（不要使用随机消除单位），也不要在训练中使用计算中保留的1/keep_prob因子。

优化算法

1. 小批量梯度下降（在单个小批量上计算）的一次迭代比批量梯度下降的迭代快。
2. 最好的小批量大小通常不是1而不是m，而是介于两者之间。一、如果最小批量为1，则会小批量样本中失去向量化的好处。二、如果最小批量为m，则最终会产生批量梯度下降，该批量梯度下降处理完成之前必须处理整个训练集。
3. 假设学习算法的成本JJJ，绘制为迭代次数的函数，如下所示：

这里写图片描述

从图中可以得知如果是使用小批量梯度下降法，看来是可以接受的，如果是使用批量梯度下降，有些事情是错误的。

这里写图片描述

增加β\betaβ会将红线稍微向右移；降低β\betaβ将在红线内产生更多的振荡。

1. 图中：

这里写图片描述

超参数调整，批量标准化，编程框架

1. 在大量超参数中进行搜索，通常使用随机值而不是网格中的值。
2. 不是每个超参数都会对训练产生巨大的负面影响，比如学习率，比其他参数更重要。
3. 在超参数搜索过程中，无论您是尝试照顾一个模型（“熊猫”策略）还是平行训练大量模型（“鱼子酱”），主要取决于可以访问的计算能力的数量。
4. 如果β\betaβ（动量超参数）介于0.9和0.99之间，推荐使用以下方法用于对β\betaβ值进行抽样：

r = np.random.rand()
beta = 1-10**(- r - 1)

1. 当找到非常好的超参数之后，并不是一劳永逸的，当网络或者其他超参数改变之后，还要再次重新调整它们的。

1. 在深度学习框架中，即使项目目前是开源的，项目的良好治理也有助于确保项目长期保持开放，而不是被封闭或修改为只有一家公司受益；通过编程框架，用户可以使用比高级级语言（如Python）更少的代码行编写深度学习算法。