SGD优化器图
SGD优化器图
提问于 2020-01-09 01:26:24
我只想问你一个简短的问题。我知道val_loss和train_loss不足以判断模型是否过度拟合。然而，我希望通过监测val_loss是否在增加来作为一个粗略的衡量标准。当我使用SGD优化器时，我似乎有两种基于平滑值的不同趋势。我应该使用哪一个？蓝色是val_loss，橙色是train_loss。
从平滑度= 0.999开始，两者似乎都在减少，但从平滑度= 0.927开始，val_loss似乎在增加。感谢您的阅读!
另外，什么时候是降低学习率的好时机？它是直接在模型过度拟合之前吗？
回答 1
Stack Overflow用户
发布于 2020-01-09 02:10:43
在我对应用于CNN的DL的经验中，过拟合更多地与训练/val精度/损失的差异联系在一起，而不仅仅是其中之一。在您的图表中，很明显，随着时间的推移，损失的差异正在增加，这表明您的模型不能很好地概括到数据集，因此显示出过拟合的迹象。如果可能的话，它还可以帮助您跟踪train和val数据集的分类精度--这将向您显示泛化误差，其作用类似于度量，但可能会显示更明显的效果。
一旦损失开始平衡并开始过度拟合，就降低学习率是一个好主意；然而，如果您首先调整网络的复杂性以更好地拟合数据集，您可能会发现更好的泛化收益。对于这种过拟合，复杂度的适度降低可能会有所帮助--使用训练/val损失和精度的差异来确认。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/59650956
复制相关文章
相似问题
腾讯云开发者
