目标检测4: Detection基础之mAP

枫桦

发布于 2022-08-02 14:00:32

9720

发布于 2022-08-02 14:00:32

文章被收录于专栏：AI算法札记

前面目标检测1: 目标检测20年综述之(一)和目标检测2: 目标检测20年综述之(二)让大家对目标检测有个大概的认识，机器学习评价指标合辑(Precision/Recall/F1score/P-R曲线/ROC曲线/AUC)介绍了基础的评价指标，如Precision、Recall、F score等概念，目标检测3: Detection基础之IoU中介绍了目标检测的评价指标IoU，接下来我们介绍目标检测最重要的评价指标mAP。

因公众号内容无法修改，如果排版有问题，可以参考知乎专栏对应文章：

https://zhuanlan.zhihu.com/p/506922713 。

1. mAP及相关概念

目标检测任务是对图像或视频中常见的物体进行分类，并确定其位置。那么怎么评价目标检测模型的性能呢，最常见的指标就是mAP，mAP全称mean Average Precision, 即各类别AP的平均值，而AP则是P-R曲线下的面积，那么mAP就是在0～1之间所有recall值的precision的平均值。

前面文章中已经介绍了Precision和Recall的计算方式，其中Precision = TP / ( TP + FP )，Recall = TP / (TP + FN)，那么我们只需确定TP、FP和FN，就可以计算出Precision和Recall，从而绘制P-R曲线，计算每个类别的AP，然后取各类别AP的平均值，就得到mAP。

在目标检测任务中，TP是IoU大于阈值的检测框数量 (同一Ground Truth只计算一次)；FP是IoU小于阈值的检测框，或者是检测到同一个GT的多余检测框的数量；FN是没有检测到的GT的数量。

通过上面的分析，我们已经明确了mAP的概念与计算方式，那么实际计算中是如何进行的呢？

2. AP和PR曲线的面积

根据前面的定义，要计算mAP必须先绘出各类别的PR曲线，然后计算各类别AP。下面介绍计算AP的几种方式。

1.1 积分求解

AP是PR曲线下的面积，可以通过积分来求解，即

A P=\int_{0}^{1} P(r) d r

1.2 插值求解

通常情况下都是使用估算或者插值的方式计算

（1）估算计算方式

A P=\sum_{k=1}^{N} P(k) \Delta r(k)

（2）插值计算方式

公式中k是每一个样本点的索引，参与计算的是所有样本点，是取第 k 个样本点之后的样本中的最大值。

3. VOC的两种插值方式

关于如何采样PR曲线，VOC采用过两种不同方法，详见The PASCAL Visual Object Classes Challenge 2012 (VOC2012) Development Kit。在VOC2010以前，只需要选取当Recall >= 0, 0.1, 0.2, ..., 1共11个点时的Precision最大值，然后AP就是这11个Precision的平均值。在VOC2010及以后，需要针对每一个不同的Recall值（包括0和1），选取其大于等于这些Recall值时的Precision最大值，然后计算PR曲线下面积作为AP值。

3.1 11点插值

在VOC10之前，采用11点插值方式。首先通过平均一组11个等间距的Recall值[0,0.1,0.2，...，1]对应的Precision来绘制P-R曲线。计算precision时，对于某个recall值r，precision值取所有recall>=r中的最大值（这样保证了p-r曲线是单调递减的，避免曲线出现抖动）。

\begin{gathered} A P=\frac{1}{11} \sum_{r \in\{0,0.1, \ldots, 1\}} \rho_{\text {interp }(r)} \\ \rho_{\text {interp }(r)}=\max _{\widetilde{r}: \tilde{r} \geqslant r} \rho(\tilde{r}) \end{gathered}

3.2 所有样本点插值

VOC2010开始，不再是对召回率在[0,1]之间的均匀分布的11个点，而是对每个不同的recall值都计算一个ρinterp(r)，然后求平均，r取recall>=r+1的最大precision值。

\begin{aligned} &\sum_{r=0}^{1}\left(r_{n+1}-r_{n}\right) \rho_{\text {interp }}\left(r_{n+1}\right) \\ &\rho_{\text {interp }}\left(r_{n+1}\right)=\max _{\tilde{r}: \tilde{r} \geq r_{n+1}} \rho(\tilde{r}) \end{aligned}

4. mAP计算示例

下面通过示例来解释插值AP。

下图有7张图像，其中15个GT目标用绿色框表示，24个检测到的物体由红色框表示。每个检测到的物体由字母（A，B，...，Y）标识，且具有置信度分数。

下表显示了具有相应置信度的边界框，最后一列将检测标识为TP或FP。在此示例中，如果IOU>=30％，则作为TP，否则是FP。根据上面的图像，我们可以判断检测结果是TP还是FP。

在一些图像中，存在多于一个与同一个ground truth重叠的检测结果（图像2,3,4,5,6和7）。对于这些情况，选择具有最高IOU的检测框，丢弃其他框。为了绘制P-R曲线，首先需要通过置信度对检测结果进行排序，然后计算每个检测结果的precision和recall，如下表所示：

根据precision和recall值绘制P-R曲线如下图

如前所述，有两种不同的方法可以计算量插值AP：11点插值和所有点插值。下面分别进行计算：

4.1 计算11点插值AP

11点插值AP是在一组11个recall levels（0,0.1，...，1）处的平均精度。插值精度值是通过采用其recall大于当前recall值的最大precision获得，如下图所示：

通过使用11点插值，我们得到

\begin{gathered} A P=\frac{1}{11} \sum_{r \in\{0,0.1, \ldots, 1\}} \rho_{\text {interp }(r)} \\ A P=\frac{1}{11}(1+0.6666+0.4285+0.4285+0.4285+0+0+0+0+0+0) \\ 即 \mathrm{AP}=26.84 \% \end{gathered}

4.2 计算所有点插值AP

插值所有点方法中，AP可以看作P-R曲线的AUC的近似值，目的是减少曲线中摆动的影响。通过应用之前给出的公式，我们可以获得这里将要展示的区域。我们还可以通过查看从最高（0.4666）到0（从右到左看图）的recall来直观地获得插值precision，并且当我们减少recall时，我们获得最高的precision值如下图所示：

我们可以将上图的AUC划分下图所示的为4个区域（A1，A2，A3和A4）：

计算总面积，即可得到AP：

\begin{aligned} &A P=A 1+A 2+A 3+A 4 \\ &\text { with: } \\ &A 1=(0.0666-0) \times 1=\mathbf{0 . 0 6 6 6} \\ &A 2=(0.1333-0.0666) \times 0.6666=\mathbf{0 . 0 4 4 4 6 2 2 2} \\ &A 3=(0.4-0.1333) \times 0.4285=\mathbf{0 . 1 1 4 2 8 0 9 5} \\ &A 4=(0.4666-0.4) \times 0.3043=\mathbf{0 . 0 2 0 2 6 6 3 8} \\ &A P=0.0666+0.04446222+0.11428095+0.02026638 \\ &A P=0.24560955 \\ &A P=\mathbf{2 4 . 5 6} \% \end{aligned}

两种不同插值方法之间的结果略有不同：分别通过每点插值和11点插值分别为24.56％和26.84％。

5. VOC方式代码实现

Facebook开源的Detectron包含VOC数据集的mAP计算，这里贴出其核心实现，以对mAP的计算有更深入的理解。

5.1 读取xml文件

def parse_rec(filename):
    """Parse a PASCAL VOC xml file."""
    tree = ET.parse(filename)
    objects = []
    for obj in tree.findall('object'):
        obj_struct = {}
        obj_struct['name'] = obj.find('name').text
        obj_struct['pose'] = obj.find('pose').text
        obj_struct['truncated'] = int(obj.find('truncated').text)
        obj_struct['difficult'] = int(obj.find('difficult').text)
        bbox = obj.find('bndbox')
        obj_struct['bbox'] = [int(bbox.find('xmin').text),
                              int(bbox.find('ymin').text),
                              int(bbox.find('xmax').text),
                              int(bbox.find('ymax').text)]
        objects.append(obj_struct)

    return objects

5.2 计算precision和recall

模型的输出包含bbox和对应的置信度(confidence)，首先按照置信度降序排序，每添加一个样本，阈值就降低一点（真实情况下阈值降低，iou不一定降低，iounet就是对这里进行了改进）。这样就有多个阈值，每个阈值下分别计算对应的precision和recall。

# 计算每个类别对应的AP，mAP是所有类别AP的平均值
 def voc_eval(detpath,
              annopath,
              imagesetfile,
              classname,
              cachedir,
              ovthresh=0.5,
              use_07_metric=False):
     """rec, prec, ap = voc_eval(detpath,
                                 annopath,
                                 imagesetfile,
                                 classname,
                                 [ovthresh],
                                 [use_07_metric])
     Top level function that does the PASCAL VOC evaluation.
     detpath: Path to detections
         detpath.format(classname) should produce the detection results file.
     annopath: Path to annotations
         annopath.format(imagename) should be the xml annotations file.
     imagesetfile: Text file containing the list of images, one image per line.
     classname: Category name (duh)
     cachedir: Directory for caching the annotations
     [ovthresh]: Overlap threshold (default = 0.5)
     [use_07_metric]: Whether to use VOC07's 11 point AP computation
         (default False)
     """
     # assumes detections are in detpath.format(classname)
     # assumes annotations are in annopath.format(imagename)
     # assumes imagesetfile is a text file with each line an image name
     # cachedir caches the annotations in a pickle file
 
     # first load gt
     if not os.path.isdir(cachedir):
         os.mkdir(cachedir)
     imageset = os.path.splitext(os.path.basename(imagesetfile))[0]
     cachefile = os.path.join(cachedir, imageset + '_annots.pkl')
     # read list of images
     with open(imagesetfile, 'r') as f:
         lines = f.readlines()
     imagenames = [x.strip() for x in lines]
 
     if not os.path.isfile(cachefile):
         # load annots
         recs = {}
         for i, imagename in enumerate(imagenames):
             recs[imagename] = parse_rec(annopath.format(imagename))
             if i % 100 == 0:
                 logger.info(
                     'Reading annotation for {:d}/{:d}'.format(
                         i + 1, len(imagenames)))
         # save
         logger.info('Saving cached annotations to {:s}'.format(cachefile))
         with open(cachefile, 'w') as f:
             cPickle.dump(recs, f)
     else:
         # load
         with open(cachefile, 'r') as f:
             recs = cPickle.load(f)
             
     # 提取所有测试图片中当前类别所对应的所有ground_truth
     # extract gt objects for this class
     class_recs = {}
     npos = 
     # 遍历所有测试图片
     for imagename in imagenames:
         # 找出所有当前类别对应的object
         R = [obj for obj in recs[imagename] if obj['name'] == classname]
         # 该图片中该类别对应的所有bbox
         bbox = np.array([x['bbox'] for x in R])
         difficult = np.array([x['difficult'] for x in R]).astype(np.bool)
         # 该图片中该类别对应的所有bbox的是否已被匹配的标志位
         det = [False] * len(R)
         # 累计所有图片中的该类别目标的总数，不算diffcult
         npos = npos + sum(~difficult)
         class_recs[imagename] = {'bbox': bbox,
                                  'difficult': difficult,
                                  'det': det}
 
     # read dets
     detfile = detpath.format(classname)
     with open(detfile, 'r') as f:
         lines = f.readlines()
 
     splitlines = [x.strip().split(' ') for x in lines]
     # 某一行对应的检测目标所属的图像名
     image_ids = [x[0] for x in splitlines]
     # 读取该目标对应的置信度
     confidence = np.array([float(x[1]) for x in splitlines])
     # 读取该目标对应的bbox
     BB = np.array([[float(z) for z in x[2:]] for x in splitlines])
     
     # 将该类别的检测结果按照置信度大小降序排列
     sorted_ind = np.argsort(-confidence)
     BB = BB[sorted_ind, :]
     image_ids = [image_ids[x] for x in sorted_ind]
     
     # 该类别检测结果的总数（所有检测出的bbox的数目）
     # go down dets and mark TPs and FPs
     nd = len(image_ids)
     # 用于标记每个检测结果是tp还是fp
     tp = np.zeros(nd)
     fp = np.zeros(nd)
     # 按置信度遍历每个检测结果
     for d in range(nd):
         # 取出该条检测结果所属图片中的所有ground truth
         R = class_recs[image_ids[d]]
         bb = BB[d, :].astype(float)
         ovmax = -np.inf
         BBGT = R['bbox'].astype(float)
         
         # 计算与该图片中所有ground truth的最大重叠度
         if BBGT.size > 0:
             # compute overlaps
             # intersection
             ixmin = np.maximum(BBGT[:, 0], bb[0])
             iymin = np.maximum(BBGT[:, 1], bb[1])
             ixmax = np.minimum(BBGT[:, 2], bb[2])
             iymax = np.minimum(BBGT[:, 3], bb[3])
             iw = np.maximum(ixmax - ixmin + 1., 0.)
             ih = np.maximum(iymax - iymin + 1., 0.)
             inters = iw * ih
 
             # union
             uni = ((bb[2] - bb[0] + 1.) * (bb[3] - bb[1] + 1.) +
                    (BBGT[:, 2] - BBGT[:, 0] + 1.) *
                    (BBGT[:, 3] - BBGT[:, 1] + 1.) - inters)
 
             overlaps = inters / uni
             ovmax = np.max(overlaps)
             jmax = np.argmax(overlaps)
         
         # 如果最大的重叠度大于一定的阈值
         if ovmax > ovthresh:
             # 如果最大重叠度对应的ground truth为difficult就忽略
             if not R['difficult'][jmax]:
                 # 如果对应的最大重叠度的ground truth以前没被匹配过则匹配成功，即tp
                 if not R['det'][jmax]:
                     tp[d] = 1.
                     R['det'][jmax] = 1
                 # 若之前有置信度更高的检测结果匹配过这个ground truth，则此次检测结果为fp
                 else:
                     fp[d] = 1.
         # 该图片中没有对应类别的目标ground truth或者与所有ground truth重叠度都小于阈值
         else:
             fp[d] = 1.
 
             
     # 按置信度取不同数量检测结果时的累计fp和tp
     # np.cumsum([1, 2, 3, 4]) -> [1, 3, 6, 10]
     # compute precision recall
     fp = np.cumsum(fp)
     tp = np.cumsum(tp)
     # 召回率为占所有真实目标数量的比例，非减的，注意npos本身就排除了difficult，因此npos=tp+fn
     rec = tp / float(npos)
     # 精度为取的所有检测结果中tp的比例
     # avoid divide by zero in case the first detection matches a difficult
     # ground truth
     prec = tp / np.maximum(tp + fp, np.finfo(np.float64).eps)
     # 计算recall-precise曲线下面积（严格来说并不是面积）
     ap = voc_ap(rec, prec, use_07_metric)
 
     return rec, prec, ap

这里最终得到一系列的precision和recall值，并且这些值是按照置信度降低排列统计的，可以认为是取不同的置信度阈值（或者rank值）得到的。

5.3 计算AP

def voc_ap(rec, prec, use_07_metric=False):
     """Compute VOC AP given precision and recall. If use_07_metric is true, uses
     the VOC 07 11-point method (default:False).
     """
     
     # VOC2010以前按recall等间隔取11个不同点处的精度值做平均(0., 0.1, 0.2, …, 0.9, 1.0)
     if use_07_metric:
         # 11 point metric
         ap = 0.
         for t in np.arange(0., 1.1, 0.1):
             if np.sum(rec >= t) == 0:
                 p = 0
             else:
                 # 取recall大于等于阈值的最大precision，保证precision非减
                 p = np.max(prec[rec >= t])
             ap = ap + p / 11.
             
     # VOC2010以后取所有不同的recall对应的点处的精度值做平均
     else:
         # correct AP calculation
         # first append sentinel values at the end
         mrec = np.concatenate(([0.], rec, [1.]))
         mpre = np.concatenate(([0.], prec, [0.]))
         
         # 计算包络线，从后往前取最大保证precise非减
         # compute the precision envelope
         for i in range(mpre.size - 1, 0, -1):
             mpre[i - 1] = np.maximum(mpre[i - 1], mpre[i])
 
         # 找出所有检测结果中recall不同的点
         # to calculate area under PR curve, look for points
         # where X axis (recall) changes value
         i = np.where(mrec[1:] != mrec[:-1])[0]
 
         # and sum (\Delta recall) * prec
         # 用recall的间隔对精度作加权平均
         ap = np.sum((mrec[i + 1] - mrec[i]) * mpre[i + 1])
     return ap

计算各个类别的AP值后，取平均值就可以得到最终的mAP值了。但是对于COCO数据集相对比较复杂，不过其提供了计算的API，感兴趣可以看一下cocodataset/cocoapi。

6. PASCAL数据集mAP计算方式

PASCAL VOC最终的检测结构，以comp3_det_test_car.txt为例

000004 0.702732 89 112 516 466
000006 0.870849 373 168 488 229
000006 0.852346 407 157 500 213
000006 0.914587 2 161 55 221
000008 0.532489 175 184 232 201

每一行依次为

 <image identifier> <confidence> <left> <top> <right> <bottom>

每一行都是一个bounding box，后面四个数定义了检测出的bounding box的左上角点和右下角点的坐标。

在计算mAP时，如果按照二分类问题理解，那么每一行都应该对应一个标签，这个标签可以通过ground truth计算出来。

但是如果严格按照 ground truth 的坐标来判断这个bounding box是否正确，那么这个标准就太严格了，因为这是属于像素级别的检测，所以PASCAL中规定当一个bounding box与ground truth的 IOU>0.5 时就认为这个框是正样本，标记为1；否则标记为0。这样一来每个bounding box都有个得分，也有一个标签，这时你可以认为前面的文件是这样的，后面多了一个标签项

000004 0.702732 89 112 516 466 1
000006 0.870849 373 168 488 229 0
000006 0.852346 407 157 500 213 1
000006 0.914587 2 161 55 221 0
000008 0.532489 175 184 232 201 1

进而你可以认为是这样的，后面的标签实际上是通过坐标计算出来的

000004 0.702732  1
000006 0.870849  0
000006 0.852346  1
000006 0.914587  0
000008 0.532489  1

这样一来就可以根据前面博客中的二分类方法计算AP了。但这是某一个类别的，将所有类别的都计算出来，再做平均即可得到mAP。

7. COCO数据集AP计算方式

COCO数据集里的评估标准比PASCAL 严格许多，COCO检测出的结果是json文件格式，如下所示，

[
       {
             "image_id": 139,
             "category_id": 1,
             "bbox": [
                 431.23001,
                 164.85001,
                 42.580002,
                 124.79
             ],
             "score": 0.16355941
       }, 
     ……
     ……
 ]

我们还是按照前面的形式来便于理解：

000004 0.702732 89 112 516 466
000006 0.870849 373 168 488 229
000006 0.852346 407 157 500 213
000006 0.914587 2 161 55 221
000008 0.532489 175 184 232 201

前面提到可以使用IOU来计算出一个标签，PASCAL用的是 IOU>0.5即认为是正样本，但是COCO要求IOU阈值在[0.5, 0.95]区间内每隔0.05取一次，这样就可以计算出10个类似于PASCAL的mAP，然后这10个还要再做平均，即为最后的AP，COCO中并不将AP与mAP做区分，许多论文中的写法是 AP@[0.5:0.95]。而COCO中的 AP@0.5 与PASCAL 中的mAP是一样的。