深度学习的训练

今天来聊聊深度学习的训练方法和注意事项

数据集的拆分：

首先要准备好已经处理好的数据集（注意数据集要满足独立同分布），分为训练集、验证集、测试集。可按80%，10%，10%分割。

训练集用来整个模型的训练。

验证集在训练过程中验证是否过拟合。

测试集切记只用在最终判断模型的质量的，切记变成根据测试集调参了，这样测试集没意义。

训练的关键：

在输入数据做迭代训练时的关键要关注模型在训练集（绿线）和验证集（紫线）所画出的误差曲线之间关系（或准确度曲线，曲线任选其一，误差越小越好或准确度越高越好）

欠拟合及应对方法：

如果训练集和验证集的误差均较高，则说明训练还不够，处于模型欠拟合状态，需要继续迭代训练，当然如果迭代多久都无法降低误差，则考虑所用的模型是否太小了，导致模型学不到东西。

过拟合及应对方法：

如果训练集和验证集的两者之间的误差差别较大，训练集的误差较低（训练集的误差永远是越来越低的，因为模型就是在不断拟合训练集的），而验证集的误差相对较高，则模型已经处于过拟合状态了。因为模型已经训练的过头，倾向于死记硬背的记住训练集，不再具有泛化性，而在验证集上的表现就很差。此时可以考虑用正则化的方法，如L1正则化或L2正则化，也可以使用Dropout（随机丢弃神经元的）的方法，防止过拟合。

最佳拟合：

当然，欠拟合和过拟合的中间状态就是刚好拟合，是最佳的训练效果，这里用到的方法叫做Early Stopping，就是当你的验证集的误差曲线不断降低，但是验证集的误差开始有向上反弹的趋势时就可以停止训练的迭代了，此时模型的参数就是拟合的较好的情况。