模型性能估计中交叉验证的有效性
模型性能估计中交叉验证的有效性
提问于 2019-09-07 08:29:12
当应用交叉验证来估计预测模型的性能时，所报告的性能通常是所有验证折叠上的平均性能。由于在此过程中，创建了多个模型，必须选择一个模型作为实际用于预测真实世界样本的模型(例如在产品中)。
我想知道，将验证性能报告为最终(选定)模型的估计性能是否真的有效(因为性能是使用在验证过程中创建的所有其他模型导出的，但在使用最终模型进行预测时不考虑)。
我预计所选模型的性能偏差可能与所有模型的平均性能大不相同(取决于几个因素，例如所使用的算法和验证方案)。
为什么交叉验证被用来评估预测模型的性能，尽管有给定的事实(例如，在许多同行评审的科学出版物中)？在独立测试集上对选定的模型进行额外的性能评估，并在验证性能的同时报告结果的性能，这不是总是更好吗？
回答 1
Data Science用户
回答已采纳
发布于 2019-09-07 10:12:51
交叉验证用于估计特定数据集上某种类型模型的性能。
必须选择一个模型作为实际用于预测真实世界样本的模型(例如在产品中)。
选择一个在交叉验证过程中获得的模型是不合适的，这样做确实会导致您提到的问题。正确的方法是在交叉验证后(即独立于在CV期间训练的模型)对完整的训练数据进行最后的模型训练。这样，通过CV获得的性能代表了最终模型的预期性能。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/58817
复制相关文章
相似问题
腾讯云开发者
