验证损失低于培训损失培训
验证损失低于培训损失培训
提问于 2019-06-13 07:22:46
我正在使用tf.learn在tensorflow中训练一个LSTM。为此，我将数据分为培训(90%)和验证(10%)。据我所知，一个模型通常比验证数据更适合训练数据，但我得到的结果正好相反。验证集的损失较低，精度较高。
正如我在其他答案中所读到的，这可能是因为在验证过程中没有应用辍学。然而，当我从我的LSTM架构中删除掉时，我的验证损失仍然低于训练损失(虽然差异较小)。
而且，每个时期结束时所显示的损失并不是每一批(如使用Keras时)损失的平均值。这是他最后一批的损失。我也认为这可能是我的结果的一个原因，但事实并非如此。
Training samples: 783
Validation samples: 87
--
Training Step: 4 | total loss: 1.08214 | time: 1.327s
| Adam | epoch: 001 | loss: 1.08214 - acc: 0.7549 | val_loss: 0.53043 - val_acc: 0.9885 -- iter: 783/783
--
Training Step: 8 | total loss: 0.41462 | time: 1.117s
| Adam | epoch: 002 | loss: 0.41462 - acc: 0.9759 | val_loss: 0.17027 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 12 | total loss: 0.15111 | time: 1.124s
| Adam | epoch: 003 | loss: 0.15111 - acc: 0.9984 | val_loss: 0.07488 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 16 | total loss: 0.10145 | time: 1.114s
| Adam | epoch: 004 | loss: 0.10145 - acc: 0.9950 | val_loss: 0.04173 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 20 | total loss: 0.26568 | time: 1.124s
| Adam | epoch: 005 | loss: 0.26568 - acc: 0.9615 | val_loss: 0.03077 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 24 | total loss: 0.11023 | time: 1.129s
| Adam | epoch: 006 | loss: 0.11023 - acc: 0.9863 | val_loss: 0.02607 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 28 | total loss: 0.07059 | time: 1.141s
| Adam | epoch: 007 | loss: 0.07059 - acc: 0.9934 | val_loss: 0.01882 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 32 | total loss: 0.03571 | time: 1.122s
| Adam | epoch: 008 | loss: 0.03571 - acc: 0.9977 | val_loss: 0.01524 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 36 | total loss: 0.05084 | time: 1.120s
| Adam | epoch: 009 | loss: 0.05084 - acc: 0.9948 | val_loss: 0.01384 - val_acc: 1.0000 -- iter: 783/783
--
Training Step: 40 | total loss: 0.22283 | time: 1.132s
| Adam | epoch: 010 | loss: 0.22283 - acc: 0.9714 | val_loss: 0.01227 - val_acc: 1.0000 -- iter: 783/783所使用的网络(请注意，辍学已被删除)：
def get_network_wide(frames, input_size, num_classes):
"""Create a one-layer LSTM"""
net = tflearn.input_data(shape=[None, frames, input_size])
#net = tflearn.lstm(net, 256, dropout=0.2)
net = tflearn.fully_connected(net, num_classes, activation='softmax')
net = tflearn.regression(net, optimizer='adam',
loss='categorical_crossentropy',metric='default', name='output1')
return net 
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-06-13 07:49:36
--本质上，这不一定是一个有问题的现象。
这可能是由于许多原因，如下所述。
- 这通常发生在你的训练数据很难训练/学习模式的时候，而验证集拥有“容易”的图像/数据来分类。LSTM/序列分类数据也是如此。
- 在训练的早期阶段，验证损失可能小于训练损失+验证精度大于训练精度。
- 在验证期间，不启用退出，从而在验证集上得到更好的结果。
- 训练损失是按时代计算的。在一个时代的末尾，它是整个时代的成批损失(累积)的平均值。网络学习数据之间的模式/关系，当根据验证对其进行测试时，它使用已经学到的信息，因此在验证(如
TLosses [0.60,0.59,...0.3 (loss on TS at the end of the epoch)]->VLosses [0.3,0.29,0.35] (because the model has already trained a lot as compared to the start of the epoch.)时，结果会更好。
然而，您的培训集非常小，以及您的验证集。这种分割(90%在列车上，10%在验证/开发中)只有在有大量的数据(在这种情况下是数万甚至几十万)时才应该进行。另一方面，您的整个培训集( than + val)只有不到1000个样本。您需要更多的数据，因为LSTMs以需要大量的培训数据而闻名。
然后，您可以尝试以这种方式使用KFoldCrossValidation甚至StratifiedKFoldCrossValidation.，您将确保您没有手动创建一个非常“简单”的验证集，您总是在这个验证集上进行测试；相反，您可以使用k-折叠，其中k-1用于培训，1用于验证；这样您就可以避免出现情况(1)。
答案在于数据。仔细准备，因为结果在很大程度上取决于数据的质量--(预处理数据、清理数据、创建相关的培训/验证/测试集)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56575293
复制相关文章
相似问题
腾讯云开发者
