问模型性能报告有多可靠？
EN

Data Science用户

提问于 2019-01-31 19:13:36

回答 1查看 41关注 0票数 0

对于评估和报告分类模型的性能，我有一个概念上的疑问。假设我的模型适用于深度值的范围，并给出不同的测试误差读数。我们选择深度最小的测试错误率模型作为M1。

现在，如果我们想在隐藏的测试集上报告模型的性能，那么明智的说法是，M1在这个新的测试集上表现同样好，并且测试错误率相同吗？

发布于 2019-02-01 05:58:00

分类模型的测试误差问题是可靠的，因此，如果未知集T_1上的测试误差与T_2上的测试误差相同，则很难回答两个问题。这取决于以下因素：

报告了多少位数字的错误？
有多少样品有T_1和T_2？报告的数字越多，需要的样本就越多。根据经验，请确保报告错误中的任何更改都意味着至少有3个示例发生了更改。因此，如果使用精度并报告两位小数位(例如12.34%)，则0.01%必须大于3 => 3 < \frac{0.01}{100} \cdot |T_1| \Leftrightarrow 30000 < |T_1|
分布必须是相似的。最简单的部分是类的分布。更困难的部分是这些特性的外观。

对于其他形式的错误分析，您可能需要查看我的硕士论文卷积神经网络结构的分析与优化

票数 1

页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://datascience.stackexchange.com/questions/44875

复制

相似问题

问模型性能报告有多可靠？EN