为什么模型选择之前没有完成模型的调优？
为什么模型选择之前没有完成模型的调优？
提问于 2018-03-10 17:32:40
我在许多文章和书籍中观察到，模型选择是在模型调优之前完成的。
模型选择通常使用某种形式的交叉验证，例如k-折叠，其中计算了多个模型的度量，并选择了最优的度量。
然后对所选择的模型进行优化，得到最优的超参数。
但我的问题是，一个没有被选中的模型可能会在正确的超参数下表现得更好。
那么，为什么不是所有的模型，我们感兴趣的调优得到正确的超参数，然后选择最好的模型通过交叉验证。
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-03-11 03:00:34
这取决于每一篇文章/书中所遵循的实验设置，但简单地说，在同一实验中执行模型选择+超参数优化的正确方法是使用嵌套交叉验证。
- 评估模型性能的外部循环(与往常一样)
- 一个内部循环(它再次分割由外部循环的N-1训练分区形成的数据集)，在每一折叠中执行超参数优化。
您可以查看this other question，以了解更多有关此验证方案的信息。
但是，请注意，在某些情况下，只需与所有模型进行一般性比较，然后只对性能最好的模型进行优化，是可以接受的。但是，在一项严格的研究中，这是远远不理想的。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/49211997
复制相关文章
相似问题
腾讯云开发者
