首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Debug图像分类模型:为什么模型会在生产环境中失效?

Debug图像分类模型:为什么模型会在生产环境中失效?

作者头像
数据派THU
发布2023-04-12 14:40:33
1960
发布2023-04-12 14:40:33
举报
文章被收录于专栏:数据派THU数据派THU
来源:AI公园本文约1000字,建议阅读5分钟本文讨论模型在生产中失效的一些常见模式。

计算机视觉模型在训练、验证和测试集中可以正常工作,但在生产场景中失效。

错误模式1:变体分类器(观察到了错误的地方)

模型预测了环境等虚假特征,而不是感兴趣的对象。例如,让我们看下面的示例,用预训练模型VGG16对图像的预测。这些图像是美洲狮和一些飞行昆虫的图像。虽然VGG16能够准确地预测美洲狮,但它在预测飞行昆虫身上失效了。从热图中可以看出,VGG16很好地聚焦了不变特征,即动物的身体。但是它没有聚焦在昆虫的身体上,而是分散在整个图像中。VGG16 是根据感兴趣的对象背景和环境等虚假特征预测的。因此,对于飞行昆虫物种,VGG16 是一个变体分类器。

错误模式2:生产中的观测到噪声(线索被隐藏了)

下面的图像是我从iNaturalist数据集中获取的。这些图像都被认为是有噪声的,因为主要特征模式并不明显。主要噪声模式包括照明、运动模糊、遮挡、小感兴趣区域和透视。

错误模式3:看到不存在的东西(pareidolia)

VGG16将飞行的昆虫预测为蜘蛛。

可以看出,VGG16看到了不存在的蜘蛛图案,这几乎接近人类对幻视症的认知现象。实际上,在计算机视觉模型中,pareidolia这种现象的发生是已知的。

错误模式4:错误的不变性特征(异常图像)

与pareidolia不同,感兴趣的对象可能具有来自两个或多个不同动物/对象的真实图案。接受过猫和狗训练的分类器会预测这是一只猫。除非它也接受过“未知”类别的第三类训练。

错误模式5:非常小的区别

在这种错误中,你可以看到非洲水牛和水牛之间的区别。该模型预测一个是另一个,但差异实际上非常小!

错误模式6:过拟合(只关注一个地方)

该模型对这只狗的品种几乎 100% 肯定,这是对的,但从热图来看,它似乎过拟合了狗的鼻子!

错误模式7:欠拟合(没有观察到所有的重要的区域)

英文原文:

https://medium.com/@emad-ezzeldin4/debugging-computer-vision-image-classification-why-is-your-model-failing-in-production-11976e5311f2

编辑:王菁

校对:林亦霖

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2023-04-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据派THU 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 错误模式1:变体分类器(观察到了错误的地方)
  • 错误模式2:生产中的观测到噪声(线索被隐藏了)
  • 错误模式3:看到不存在的东西(pareidolia)
  • 错误模式4:错误的不变性特征(异常图像)
  • 错误模式5:非常小的区别
  • 错误模式6:过拟合(只关注一个地方)
  • 错误模式7:欠拟合(没有观察到所有的重要的区域)
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档