前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >目标检测3: Detection基础之IoU

目标检测3: Detection基础之IoU

作者头像
枫桦
发布2022-08-02 13:57:45
7710
发布2022-08-02 13:57:45
举报
文章被收录于专栏:AI算法札记

前面目标检测1: 目标检测20年综述之(一)目标检测2: 目标检测20年综述之(二)让大家对目标检测有个大概的认识,接下来我们通过系列博客总结一下目标检测基础。本文总结目标检测中的重要概念IoU。

1. IoU的概念

IoU,全称Intersection over Union,可翻译为交并比,是两个框交集与并集的比值。计算IoU的公式如下图,可以看到IoU是一个比值,即交并比。

在分子中,我们计算预测框和ground-truth之间的重叠区域;分母是并集区域,是预测框和ground-truth所包含的总区域。重叠区域和并集区域的比值,就是IoU。

为了用IoU指标来评估目标检测器,我们需要: Ground-truth bounding boxes和我们训练好的模型预测的bounding boxes。下图是一个示例。图中绿色框为Ground-truth bounding box,红色框为预测框,我们的目标是计算它们的IoU。

2. 为什么使用IoU来评估目标检测器

与分类任务不同,我们预测的bounding box的坐标需要去匹配ground-truth的坐标,而坐标完全匹配基本是不现实的。因此,我们需要定义一个评估指标,奖励那些与ground-truth匹配较好(重叠较大)的预测框。

上图展示了IoU的优劣对比,与ground-truth bounding boxes 重叠比例更大的预测边界框比重叠较少的边界框具有更高的分数,这使得IoU成为评估目标检测器的极佳指标。

我们并不关心(x,y)坐标的精确匹配,但我们希望确保我们预测的边界框尽可能匹配,因此IoU是目标检测一个很好的评价指标。

3. IoU的实现

现在我们已经了解了IoU是什么以及为什么用它来评估目标检测模型,接下来就用Python实现它,如果你简历中有目标检测的经历,这会是面试经常需要手写的,虽然很简单,但是快速bugfree的写出也是基础较好的一种体现。

我们的目标是使用IoU来评估目标探测器的性能。具体来说,给定预测的边界框(红色)与ground-truth(绿色),也就是我们训练好模型的输出与真实label,我们用IoU指标来评估模型的好坏。

代码语言:javascript
复制
def bb_intersection_over_union(boxA, boxB):
  # determine the (x, y)-coordinates of the intersection rectangle
  xA = max(boxA[0], boxB[0])
  yA = max(boxA[1], boxB[1])
  xB = min(boxA[2], boxB[2])
  yB = min(boxA[3], boxB[3])

  # compute the area of intersection rectangle
  interArea = max(0, xB - xA + 1) * max(0, yB - yA + 1)

  # compute the area of both the prediction and ground-truth
  # rectangles
  boxAArea = (boxA[2] - boxA[0] + 1) * (boxA[3] - boxA[1] + 1)
  boxBArea = (boxB[2] - boxB[0] + 1) * (boxB[3] - boxB[1] + 1)

  # compute the intersection over union by taking the intersection
  # area and dividing it by the sum of prediction + ground-truth
  # areas - the interesection area
  iou = interArea / float(boxAArea + boxBArea - interArea)

  # return the intersection over union value
  return iou
代码语言:javascript
复制
函数需要两个参数:boxA和boxB,假定是我们的ground-truth和预测框。第3-6行确定两个矩形框的(x,y)坐标,然后我们用它们来计算交集的面积(第9行)。interArea变量表示IoU公式中的分子。为了计算分母,我们首先需要计算出预测框和ground-truth的区域(第13和14行)。然后可以在19行上通过将交集区域除以两个边界框的并集区域与交叉区域的差来计算IoU,(注意从分母中减去交叉区域,否则交叉区域将被双倍计数)。最后,IoU分数将返回到第22行的调用函数。现在我们的IoU方法已经完成。

4. IoU的实际使用

商汤mmdet是目标检测方向的一个非常优秀的开源库,下面实现是商汤mmdet中IoU的实现,基本是一样的,只是是batch的矩阵运算。

代码语言:javascript
复制
import numpy as np


def bbox_overlaps(bboxes1, bboxes2, mode='iou'):
    """Calculate the ious between each bbox of bboxes1 and bboxes2.
    Args:
        bboxes1(ndarray): shape (n, 4)
        bboxes2(ndarray): shape (k, 4)
        mode(str): iou (intersection over union) or iof (intersection
            over foreground)
    Returns:
        ious(ndarray): shape (n, k)
    """

    assert mode in ['iou', 'iof']

    bboxes1 = bboxes1.astype(np.float32)
    bboxes2 = bboxes2.astype(np.float32)
    rows = bboxes1.shape[0]
    cols = bboxes2.shape[0]
    ious = np.zeros((rows, cols), dtype=np.float32)
    if rows * cols == 0:
        return ious
    exchange = False
    if bboxes1.shape[0] > bboxes2.shape[0]:
        bboxes1, bboxes2 = bboxes2, bboxes1
        ious = np.zeros((cols, rows), dtype=np.float32)
        exchange = True
    area1 = (bboxes1[:, 2] - bboxes1[:, 0] + 1) * (
        bboxes1[:, 3] - bboxes1[:, 1] + 1)
    area2 = (bboxes2[:, 2] - bboxes2[:, 0] + 1) * (
        bboxes2[:, 3] - bboxes2[:, 1] + 1)
    for i in range(bboxes1.shape[0]):
        x_start = np.maximum(bboxes1[i, 0], bboxes2[:, 0])
        y_start = np.maximum(bboxes1[i, 1], bboxes2[:, 1])
        x_end = np.minimum(bboxes1[i, 2], bboxes2[:, 2])
        y_end = np.minimum(bboxes1[i, 3], bboxes2[:, 3])
        overlap = np.maximum(x_end - x_start + 1, 0) * np.maximum(
            y_end - y_start + 1, 0)
        if mode == 'iou':
            union = area1[i] + area2 - overlap
        else:
            union = area1[i] if not exchange else area2
        ious[i, :] = overlap / union
    if exchange:
        ious = ious.T
    return ious

1.5 参考资料

Intersection over Union (IoU) for object detection

bbox_overlaps.py

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-04-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI算法札记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. IoU的概念
  • 2. 为什么使用IoU来评估目标检测器
  • 3. IoU的实现
  • 4. IoU的实际使用
  • 1.5 参考资料
相关产品与服务
图像识别
腾讯云图像识别基于深度学习等人工智能技术,提供车辆,物体及场景等检测和识别服务, 已上线产品子功能包含车辆识别,商品识别,宠物识别,文件封识别等,更多功能接口敬请期待。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档