详解对象检测网络性能评价指标mAP计算

上次我写了一篇关于mAP计算的文章,发布之后得到很多网友的反馈,有感于此,觉得有必要重写一篇,目的有两个,一个是告诉大家你们的意见我收到了,另外一个是细化了我对mAP的计算过程的理解,如有廖误恳请指正,本人一定虚心接受!欢迎继续拍砖!

对象检测评价参数解释

对象检测评价是针对对象检测系统性能指标的整体性能评估,评价指标包括

  • 正确检测率
  • 错误检测率
  • 漏检率

等常见指标,更广义的评价还包括检测率除以精度与敏感性。检测对象的评价多数是基于某测试数据集的,通常称为SUT(System Under Test), 我们在训练时候使用的数据通常被称为GT Sytem(是带有正确标准框的数据)。评价对象检测系统性能经常需要用到术语与解释如下:

FP – False Positive是指一个对象出现在SUT中但是没有出现在GT中 TP – True Positive是指一个对象既出现在SUT也出现在GT中 FN – False negative是真一个对象出现在GT中但是没有出现在SUT TN – True negative是指对象在SUT与GT中均没有出现 CGT – complete ground truth 是指总的GT数目

二:计算AP与mAP

在计算AP过程中最重要的是生成Precision-Recall Curve (精确度-召回率曲线),它是计算mAP最重要的一步动作。下图中有六个book的标注框(GT) 蓝色矩形框标注信息如下:

book 439 157 556 241 book 437 246 518 351 book 515 306 595 375 book 407 386 531 476 book 544 419 621 476 book 609 297 636 392

红色矩形框算法预测结果如下:

有八个预测框,根据得分从高到低的排序如下:

book 0.619459 413 390 515 459 book 0.462608 518 314 603 369 book 0.460851 429 219 528 247 book 0.382881 403 384 517 461 book 0.369369 405 429 519 470 book 0.298196 592 310 634 388 book 0.272826 433 272 499 341 book 0.269833 433 260 506 336

其中第二列是预测边界框(BB)对book得分

判断TP与FP代码如下

if ovmax >= min_overlap:
    if "difficult" not in gt_match:
        if not bool(gt_match["used"]):
          # true positive
          tp[idx] = 1
          gt_match["used"] = True
          count_true_positives[class_name] += 1
          # update the ".json" file
          with open(gt_file, 'w') as f:
              f.write(json.dumps(ground_truth_data))
          if show_animation:
            status = "MATCH!"
        else:
          # false positive (multiple detection)
          fp[idx] = 1
          if show_animation:
            status = "REPEATED MATCH!"
else:
    # false positive
    fp[idx] = 1
    if ovmax > 0:
      status = "INSUFFICIENT OVERLAP"

计算累计TP与FP的代码如下:

for idx, val in enumerate(fp):
  fp[idx] += cumsum
  cumsum += val
cumsum = 0
for idx, val in enumerate(tp):
  tp[idx] += cumsum
  cumsum += val

积分求解 Precision与Recall数据的取值范围都在0~1之间,以Recall为X轴位、以Precision为Y轴可以绘制PR曲线。在绘制之前首先需要完成插值操作

首先对精度数据首尾添加0然后进行最大值插值取值,得到mpre 【1.0, 1.0, 1.0, 0.66, 0.5, 0.5, 0.5, 0.5, 0.5, 0】 对召回数据首尾添加0与1得到mrec 【0, 0.166, 0.33, 0.33, 0.33, 0.33, 0.5, 0.5, 0.66, 1.0】

进行寻找变化的梯度得到index(1、2、6、8、9),对曲线积分求解最终的AP为:

loop index(1、2、6、8、9)
AP =+ ((mrec[index]-mrec[index-1])*mpre[index])
return AP

上面的解释是AP计算方法,VOC2007对计算出来结果,根据原始取得的recall进行最大插值为11点的方式来计算AP,图示如下:

另外一种方式被称为全插值方法,同样是基于最大值进行插值,得到曲线显示如下

通过插值之后进行AP计算得到的结果会跟积分直接求解的结果不同,当前PASCAL VOC都是基于全插值方式来计算AP,最终根据每个类别的AP求和之后除以总的检测类别数目就得到mAP值。

mAP = sum(AP) / N 
其中N表示总的类别数目

原文发布于微信公众号 - OpenCV学堂(CVSCHOOL)

原文发表时间:2018-11-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

如何使用 Keras 实现无监督聚类

由于深度学习算法在表达非线性表征上的卓越能力,它非常适合完成输入到有标签的数据集输出的映射。这种任务叫做分类。它需要有人对数据进行标注。无论是对 X 光图像还是...

5002
来自专栏Hadoop数据仓库

HAWQ + MADlib 玩转数据挖掘之(十二)——模型评估之交叉验证

一、交叉验证概述         机器学习技术在应用之前使用“训练+检验”的模式,通常被称作“交叉验证”,如图1所示。 ? 图1 1. 预测模型的稳定性    ...

1.7K7
来自专栏机器学习之旅

总结:机器学习面试之常见决策树异同

历史回顾:1984年提出的cart,1986年提出的ID3,1993年提出的c4.5

821
来自专栏杨熹的专栏

CS224d-Day 5: RNN快速入门

---- CS224d-Day 5: 什么是RNN 本文结构: 1.什么是 RNN?和NN的区别? 2.RNN 能做什么?为什么要用 RNN? 3.RNN 怎么...

2825
来自专栏专知

【论文推荐】最新7篇条件随机场(CRF)相关论文—图像标注、对抗学习、端到端、注意力机制、三维人体姿态、图像分割、行为分割和识别

【导读】专知内容组整理了最近七篇条件随机场(Conditional Random Field )相关文章,为大家进行介绍,欢迎查看! 1. Deep Neura...

4027
来自专栏专知

【Python实战】无监督学习—聚类、层次聚类、t-SNE,DBSCAN

【导读】本文主要介绍了无监督学习在Python上的实践,围绕着无监督学习,讲述了当前主流的无监督聚类方法:数据准备,聚类,K-Means Python实现,层次...

3733
来自专栏AI研习社

深度学习岗位面试问题一览

本笔记主要问题来自以下两个问题,以及我自己面试过程中遇到的问题。 深度学习相关的职位面试时一般会问什么?会问一些传统的机器学习算法吗?(http://t.cn/...

6605
来自专栏AI研习社

一文读懂矩阵的秩和行列式的意义

AI 研习社按:张量是神经网络模型中最基本的运算单元,模型内部绝大部分的数据处理都需要依靠张量为载体,进行一系列的数学运算,然后得到结果。就像张量是矩阵在高维度...

36911
来自专栏Python数据科学

【Python数据分析基础】: 异常值检测和处理

在机器学习中,异常检测和处理是一个比较小的分支,或者说,是机器学习的一个副产物,因为在一般的预测问题中,模型通常是对整体样本数据结构的一种表达方式,这种表达方式...

5263
来自专栏贾志刚-OpenCV学堂

OpenCV中常见的五个滤波函数

初学OpenCV的开发者很容易被OpenCV中各种滤波方法所困扰,不知道到底该用哪里一个来做滤波。表面原因看起来是因为OpenCV中各种滤波方式实在是太多太杂,...

3295

扫码关注云+社区

领取腾讯云代金券