详解对象检测网络性能评价指标mAP计算

上次我写了一篇关于mAP计算的文章，发布之后得到很多网友的反馈，有感于此，觉得有必要重写一篇，目的有两个，一个是告诉大家你们的意见我收到了，另外一个是细化了我对mAP的计算过程的理解，如有廖误恳请指正，本人一定虚心接受！欢迎继续拍砖！

对象检测评价参数解释

对象检测评价是针对对象检测系统性能指标的整体性能评估，评价指标包括

• 正确检测率
• 错误检测率
• 漏检率

等常见指标，更广义的评价还包括检测率除以精度与敏感性。检测对象的评价多数是基于某测试数据集的，通常称为SUT(System Under Test), 我们在训练时候使用的数据通常被称为GT Sytem(是带有正确标准框的数据)。评价对象检测系统性能经常需要用到术语与解释如下：

FP – False Positive是指一个对象出现在SUT中但是没有出现在GT中 TP – True Positive是指一个对象既出现在SUT也出现在GT中 FN – False negative是真一个对象出现在GT中但是没有出现在SUT TN – True negative是指对象在SUT与GT中均没有出现 CGT – complete ground truth 是指总的GT数目

二：计算AP与mAP

在计算AP过程中最重要的是生成Precision-Recall Curve (精确度-召回率曲线)，它是计算mAP最重要的一步动作。下图中有六个book的标注框(GT) 蓝色矩形框标注信息如下：

book 439 157 556 241 book 437 246 518 351 book 515 306 595 375 book 407 386 531 476 book 544 419 621 476 book 609 297 636 392

红色矩形框算法预测结果如下：

有八个预测框，根据得分从高到低的排序如下：

book 0.619459 413 390 515 459 book 0.462608 518 314 603 369 book 0.460851 429 219 528 247 book 0.382881 403 384 517 461 book 0.369369 405 429 519 470 book 0.298196 592 310 634 388 book 0.272826 433 272 499 341 book 0.269833 433 260 506 336

其中第二列是预测边界框(BB)对book得分

判断TP与FP代码如下

if ovmax >= min_overlap:
    if "difficult" not in gt_match:
        if not bool(gt_match["used"]):
          # true positive
          tp[idx] = 1
          gt_match["used"] = True
          count_true_positives[class_name] += 1
          # update the ".json" file
          with open(gt_file, 'w') as f:
              f.write(json.dumps(ground_truth_data))
          if show_animation:
            status = "MATCH!"
        else:
          # false positive (multiple detection)
          fp[idx] = 1
          if show_animation:
            status = "REPEATED MATCH!"
else:
    # false positive
    fp[idx] = 1
    if ovmax > 0:
      status = "INSUFFICIENT OVERLAP"

计算累计TP与FP的代码如下：

for idx, val in enumerate(fp):
  fp[idx] += cumsum
  cumsum += val
cumsum = 0
for idx, val in enumerate(tp):
  tp[idx] += cumsum
  cumsum += val

积分求解 Precision与Recall数据的取值范围都在0~1之间，以Recall为X轴位、以Precision为Y轴可以绘制PR曲线。在绘制之前首先需要完成插值操作

首先对精度数据首尾添加0然后进行最大值插值取值，得到mpre 【1.0, 1.0, 1.0, 0.66, 0.5, 0.5, 0.5, 0.5, 0.5, 0】 对召回数据首尾添加0与1得到mrec 【0, 0.166, 0.33, 0.33, 0.33, 0.33, 0.5, 0.5, 0.66, 1.0】

进行寻找变化的梯度得到index(1、2、6、8、9)，对曲线积分求解最终的AP为：

loop index(1、2、6、8、9)
AP =+ ((mrec[index]-mrec[index-1])*mpre[index])
return AP

上面的解释是AP计算方法，VOC2007对计算出来结果，根据原始取得的recall进行最大插值为11点的方式来计算AP，图示如下：

另外一种方式被称为全插值方法，同样是基于最大值进行插值，得到曲线显示如下

通过插值之后进行AP计算得到的结果会跟积分直接求解的结果不同，当前PASCAL VOC都是基于全插值方式来计算AP，最终根据每个类别的AP求和之后除以总的检测类别数目就得到mAP值。

mAP = sum(AP) / N 
其中N表示总的类别数目