训练误差随时代的变化而减小
训练误差随时代的变化而减小
提问于 2018-03-27 15:55:42
我试图在STL-10数据集上训练一个VGG-19神经网络，其中包含5000幅图像(每个类500幅)。输出类的数量是10。
我没有改变架构，只是将完全连接层的大小从4096减小到2048，保持辍学(0.5)不变。
这样做的原因是，由于训练图像的数量较少，所以为了避免过度拟合，我缩小了完全连接层的大小，但我不知道这样做是否正确。。
我还使用了(学习率= 0.001)代替了本文中提到的SGD。
我只运行了4个时期的代码。我观察到，虽然成本下降很小，但训练精度却在下降。
第一阶段后，成本: 2.304091，训练准确率: 11.99%
在第二个时代之后，成本: 2.303365，训练准确率：：11.249%。
在第三个时代之后，成本: 2.301936，训练准确率：：10.5625%。
在第四个时代之后，成本: 2.30415，训练准确率：：8.1249%。
我想知道，这是自然的行为，还是由于我在架构中所做的改变中的一些错误？或者使用更少的层会更好？(例如VGG-16)
(这是我第一次亲身体验神经网络)
回答 1
Data Science用户
发布于 2018-03-28 13:16:08
我不太确定你的情况，通常我也看到了同样的问题，但在另一个方向上，你可以在这里看看：
我猜你的DNN得到了更多正确的答案，但并没有增加它的信心。
关于您的其他问题，我建议您从最简单的可能模型开始，例如，在这种情况下，它将使用vgg16 (比vgg19更广泛地使用)和默认参数(神经元数目、优化函数.)。一旦你有了有用的东西，你就可以开始调优和修改东西。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/29595
复制相关文章
相似问题
腾讯云开发者
