对于我的验证数据集(自己的数据),我使用COCO和Kitti评估指标进行评估。
我希望COCO AP (0.5)值和Kitti 2D AP (带有iou=0.5)也能得到类似的分数。但我不确定它们是否具有可比性,尽管它们背后的逻辑是相同的(检查2D前视图GT和DET框中的iou>0.5并进行匹配,计算精度/召回率).
COCO对象检测AP 0.5 = 0.59 Kitti 2D AP,iou设置为0.5 = 0.33
期望它们具有可比性是正确的吗?我发现大多数论文只使用其中一种,没有人真正比较过这两种评估指标的结果。
发布于 2020-09-12 10:05:48
从他们的website
用于评估,我们计算目标检测的精度-召回曲线和联合目标检测和方向估计的方向-相似性-召回曲线。在后一种情况下,不仅对象2D边界框必须正确定位,而且还需要评估鸟瞰视图中的方向估计。
(..)
我们使用PASCAL标准评估目标检测性能,并使用我们的CVPR 2012出版物中讨论的指标评估目标检测和方向估计性能
由于不太了解Kitti评估指标,通过阅读本文,它们似乎彼此不能比较,并且可能不适合您的常见对象检测过程。
如果您的数据与Kiti数据集及其目标无关,强烈建议您放弃其指标,而使用COCO指标或PASCAL。
PASCAL是最初的公制系统,但COCO是最近使用最多的,因为它是一种更严格的度量。
https://stackoverflow.com/questions/59295540
复制相似问题