首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >理解培训和测试损失图

理解培训和测试损失图
EN

Data Science用户
提问于 2019-05-15 18:29:33
回答 2查看 6.5K关注 0票数 3

我已经附上了一个数字,其中包含6个子图以下。每一个都显示了在多个时期的训练和测试损失。通过查看每一张图,我如何才能看到哪一张是最好的?哪些是超配的,哪些是不足的。哪个年代的情况每况愈下?

EN

回答 2

Data Science用户

发布于 2020-02-10 11:30:44

假设比较曲线中的训练集和验证集是相同的,那么最好的曲线可能是验证损失最小的曲线。

把你的数字从左到右,从上到下,我会说最好的数字是#5 (第二行,第二列)。

现在,让我们详细分析一下每一个情节中发生的事情:

  1. 很高的数值,似乎是随机的,无论是在训练还是验证损失方面都没有任何减少:模型没有学习;模型或优化过程可能有问题,或者某些超参数值是非常错误的。
  2. 培训和验证损失的下降值,验证损失与培训损失之间存在差距,并且两者都稳定下来(也就是说,它们可能都不会降低-if,给它们留出更多的培训时间-):培训似乎还可以,但如果您将模型正规化,从而使您的培训曲线更高,验证曲线更低,则仍有改进的余地。
  3. 最初,两条曲线都会下降,然后验证开始上升,大约在步骤800:过度拟合。您应该尝试对模型进行正则化,如果这并不有效,则使用早期停止来使用对验证数据性能最好的模型。您也可以尝试一些超参数调优,或有一个学习速率的时间表,使其更小的时间。
  4. 这两条曲线都在下降,似乎他们会继续这样做一段时间:训练还没有结束,给它留下更多的训练时间。
  5. 这两个曲线下降,尽管最初的平台,并达到一个低点,没有差距之间的训练和验证曲线:您可能可以改善模型的权重初始化。无论如何,这个图似乎是最好的,因为验证曲线达到最低值,并且没有过度拟合。
  6. 这两条曲线都在上升:可能在如何定义损失函数优化过程中出现了一些问题。

我看不出你的阴谋中有任何明显的不合适之处。在不合适的情况下,我们可以看到模型学到了一些东西,但是训练和验证损失都稳定在过高的值。这将意味着缺乏模型的能力,使其无法恰当地捕捉标签方面的数据分布。

票数 2
EN

Data Science用户

发布于 2019-05-16 07:14:16

最优图是列车损失图和列车损失图相互叠加的最优图。在这种情况下,您可以确定它们并不过分适合,因为模型的性能与它在培训集上的表现一样好。因此,损失曲线位于彼此之上。但它们很可能不适合。

理解超适和不合身的一个简单方法是:

1)如果你的火车误差减少了,而你的履带误差增加了,那你就是过火了。

2)如果列车和cv的误差都增加了,你就不合适了。

在你贴出的图的顺时针方向上,第一个(左上方)图像被理解为一个不过分适合的模型,因为这些图形是坐在一起的,但是由于这个图形在某个特定的区域已经“放大”了,所以我们看到了一个紧张的图像,因此我们无法得出一个明确的结论。第二张图看上去很好,因为差距正在缩小,而第三幅图像开始变得过火,因为图形之间的差距开始扩大。下一个图(最右下)有一个不断增加的损失,这是不好的,当列车和cv损失增加,我们可以说,模型是不合适的。下一个开局缓慢的图表似乎已经很好地收敛了。最后一张图,我会说收敛速度很慢,或者有收敛的问题,我们需要查看模型和数据。

票数 1
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/52028

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档