我可以在组合( train+dev)集上训练微调模型，然后用测试集进行评估吗？
我可以在组合( train+dev)集上训练微调模型，然后用测试集进行评估吗？
提问于 2019-05-06 22:37:29
我正在使用的数据集由训练集和测试集组成。为了对深度学习模型进行微调，使用10%的训练集作为验证集。找到最佳超参数值后，有两个可能的选项
a)使用测试集评估模型(即，在90%的训练集上训练的模型)
b)使用测试集评估模型(即，在完整训练集上重新训练的模型)
以上哪一个选项是有效的？为什么？
回答 1
Stack Overflow用户
发布于 2019-05-06 22:44:59
两种选择都是可能的，
但在第一种情况下，HPP是最优的，在第二种情况下，它们通常接近最优超参数(但不是最优)，但您拥有更具代表性的数据集
通常的建议是选择不同的训练/测试来具有更具代表性的情况，并根据每个折叠的平均值来选择最优的HPP。
因为，您面临的风险是，您的模型对于这个特定的案例非常好，因为您可以拥有Kaggle datasets，但一旦投入生产，您的模型可能不能代表真实的用例。
总结一下：
- 如果你只是想要这个集合的最佳模型，也许选项1是最安全的(选项2也可以完成，但结果可能会更差)
- 如果你在一个真实的案例研究中，你最好做交叉验证，以获得更健壮的HPP
集合
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56007381
复制相关文章
相似问题
腾讯云开发者
