导读 本文将详细介绍目标检测中的平均精度(mAP)，建议收藏并掌握。（公众号：OpenCV与AI深度学习） 背景介绍 平均精度(mAP) 是用于评估机器学习模型的性能指标。...模型评估辅助指标 在讨论平均精度 (mAP) 之前，了解以下指标也很重要，因为许多指标可以评估机器学习模型，每个指标都有其优点和权衡。...在评估模型的同时得出 mAP；分别为每个类计算平均精度 (AP)。...在这里，术语 AP 和 mAP 可以互换使用。时至今日，COCO mAP 是评估对象检测模型最流行的指标。...PASCAL VOC 和 ImageNET 挑战使用了以 0.5 IoU 计算的 AP 和 mAP。 目前，MS COCO 101 点平均精度（AP）被接受为标准指标。
在本文[1]中，我们将了解如何使用 precision 和召回率来计算平均精度 (mAP)。mAP 将真实边界框与检测到的框进行比较并返回分数。分数越高，模型的检测越准确。...当模型具有高精度但召回率低时，模型将样本分类为正样本时是准确的，但它可能仅对部分正样本进行分类。 ” 由于精度和召回率的重要性，精度-召回率曲线显示了不同阈值的精度和召回率值之间的权衡。...AP 平均精度 (AP) 是一种将精度召回曲线汇总为表示所有精度平均值的单个值的方法。根据面等式计算 AP。使用遍历所有精度/召回率的循环，计算当前召回率和下一次召回率之间的差异，然后乘以当前精度。...以下是计算 AP 的步骤摘要： 使用模型生成预测分数。 将预测分数转换为类别标签。 计算混淆矩阵。 计算精度和召回率指标。 创建精确召回曲线。 测量平均精度。 4....使用不同的阈值，创建精确召回曲线。从该曲线可以测量平均精度 (AP)。 对于目标检测模型，阈值是对检测到的对象进行评分的 IoU。一旦为数据集中的每个类测量了 AP，就会计算出 mAP。
在本文中，我们将了解如何使用 precision 和召回率来计算平均精度 (mAP)。mAP 将真实边界框与检测到的框进行比较并返回分数。分数越高，模型的检测越准确。...当模型具有高精度但召回率低时，模型将样本分类为正样本时是准确的，但它可能仅对部分正样本进行分类。由于精度和召回率的重要性，精度-召回率曲线显示了不同阈值的精度和召回率值之间的权衡。...AP平均精度 (AP) 是一种将精度召回曲线汇总为表示所有精度平均值的单个值的方法。根据面等式计算 AP。使用遍历所有精度/召回率的循环，计算当前召回率和下一次召回率之间的差异，然后乘以当前精度。...以下是计算 AP 的步骤摘要：使用模型生成预测分数。将预测分数转换为类别标签。计算混淆矩阵。计算精度和召回率指标。创建精确召回曲线。测量平均精度。4....从该曲线可以测量平均精度 (AP)。对于目标检测模型，阈值是对检测到的对象进行评分的 IoU。一旦为数据集中的每个类测量了 AP，就会计算出 mAP。
首先用训练好的模型得到所有测试样本的confidence score，每一类（如car）的confidence score保存到一个文件中（如comp1_cls_test_car.txt）。...如AP50，即当预测框与真实框的IoU值大于这个阈值时，该预测框才被认定为真阳性（True Positive, TP），反之就是假阳性（False Positive，FP）。...然后对于recall大于每一个阈值（比如recall>0.3），我们都会得到一个对应的最大precision。这样，我们就计算出了11个precision。AP即为这11个precision的平均值。...M个precision值取平均即得到最后的AP值。...的计算就变得很简单了，就是取所有AP的平均值。
BBox回归性能由预测bbox B和ground truth : 正样本(真阳性和假阳性)是根据IoU阈值从一组预测中确定的，根据该阈值可以计算所有类别对象的平均精度(AP)。...例如，AP50度量由IoU高于阈值0.5目标的AP。检测器的最终性能通常通过多个IoU阈值的平均精度(mAP)来评估。 3.2 α-IoU Losses 普通IoU损失定义为 。...α-IoU损失在高精度水平上的优势更明显，在AP95时相对改善可达60%以上。...这表明，当在计算资源有限的场景中训练轻模型时，如移动设备、自动驾驶车辆和机器人，α-IoU损失更具优势。...在噪声率η = 0/0.1/0.2/0.3时，α = 10时的性能比α = 3时平均下降了5.61%/10.92%/23.88%/31.82%。
因此，从图1我们可以看到， mAP 对于评估目标定位模型、目标检测模型以及实例分割模型非常有用。 ▌评估模型检测模型 为什么选择 mAP？ 目标检测问题中，每张图片中可能会含有不同类别的不同目标。...如前文所说，模型的分类和定位性能都需要被评估。 因此，精确率，这个图像分类问题中使用的标准的评价度量，并不能直接用在这里。现在，是平均精度均值 mAP 发挥作用的时候了。...我会在另一篇文章介绍各种目标检测算法，包括它们的方法以及性能。现在，让我们假设我们手上已经有一个训练好的模型，而且我们将在验证数据集上评估它的结果。...对每一个类别，我们都会进行相同的操作：计算 IoU -> 精确率（Precision）-> 平均精度（Average Precision）。所以我们会有 20 个不同的平均精度值。...利用这些平均精度值，我们可以很轻松地判断我们的模型对任何给定的类别的性能。
在召回值(0、0.1、0.2、……、0.9和1.0)找到最高精度值。AP(平均精度)计算为以下11个召回级别的最高精度平均值: 这接近于求出橙色曲线下的总面积并除以11。下面是更精确的定义。...对于COCO, AP是多个IoU的平均值(考虑正匹配的最小IoU)。AP@ [5:。95]对应IoU从0.5到0.95的平均AP，步长为0.05。...和AR在多个交汇点（IoU）值上取平均值。...AP（所有10个IoU阈值和所有80个类别的平均值）将决定赢家。在考虑COCO性能时，这应该被认为是最重要的一个指标。 在COCO中，比大物体相比有更多的小物体。...除了IoU计算（分别在框（box）或掩码（mask）上执行）之外，用边界框和分割掩码检测的评估度量在所有方面是相同的。 2、Evaluation Code 评估代码可在COCO github上找到。
因此，从图1我们可以看到， mAP 对于评估目标定位模型、目标检测模型以及实例分割模型非常有用。 ▌评估模型检测模型 为什么选择 mAP？ ...如前文所说，模型的分类和定位性能都需要被评估。 因此，精确率，这个图像分类问题中使用的标准的评价度量，并不能直接用在这里。现在，是平均精度均值 mAP 发挥作用的时候了。...现在，让我们假设我们手上已经有一个训练好的模型，而且我们将在验证数据集上评估它的结果。 ▌计算 mAP 让我们假设原始图片和参考标准的解释性文字如上文所述。...对每一个类别，我们都会进行相同的操作：计算 IoU -> 精确率（Precision）-> 平均精度（Average Precision）。所以我们会有 20 个不同的平均精度值。...利用这些平均精度值，我们可以很轻松地判断我们的模型对任何给定的类别的性能。
每个模型都有自己的独特之处，并随因素变化而表现不同 每个模型在“验证/测试”数据集上来评估性能，性能衡量使用各种统计量如准确度（accuracy），精度（precision），召回率（recall）等。...因此，从图1可以看出，它对评估定位模型、目标检测模型和分割模型非常有用。 02 评估目标检测模型 1. 为什么是mAP? 目标检测问题中的每个图片都可能包含一些不同类别的物体。...这里我们不谈论不同的目标检测算法，假定我们已经有了一个训练好的模型，现在只需要在验证集上评估其性能。 03 mAP含义及计算 前面展示了原始图像和以及对应的ground truth。...对于各个类别，分别按照上述方式计算AP，取所有类别的AP平均值就是mAP。这就是在目标检测问题中mAP的计算方法。...可能有时会发生些许变化，如COCO数据集采用的计算方式更严格，其计算了不同IoU阈值和物体大小下的AP（详情参考http://cocodataset.org/#detection-eval）。
平均精度（Average Precision，mAP）是一种常用的用于评估目标检测模型性能的指标。在目标检测任务中，模型需要识别图像中的不同目标，并返回它们的边界框（bounding box）和类别。...mAP用于综合考虑模型在不同类别上的准确度和召回率。 基本知识 IOU (Intersection Over Union)是一种基于Jaccard Index的度量，用于评估两个边界框之间的重叠。...这就是为什么平均精度(AP)，一个数值度量，也可以帮助我们比较不同的探测器。在实践中，AP是0到1之间所有召回值的精度平均值。 从2010年开始，PASCAL VOC挑战计算AP的方法发生了变化。...通过对插值后的曲线进行积分，计算每个类别的AP，然后对所有类别的AP进行平均，得到mAP值。通过平滑精确率-召回率曲线，更准确地评估模型的性能。它提供了更稳定和可靠的指标。...精度-召回率曲线绘制：从置信度最高的边界框开始，计算每个置信度水平下的精度和召回率，并绘制精度-召回率曲线。 平均精度计算：通过对精度-召回率曲线进行积分，计算平均精度（AP）。
在本文中，我们将讨论用于目标检测问题的最常用的度量指标 - 均值平均精度，即mAP。（对每个类的AP再求平均） 大多数时候，这些指标很容易理解和计算。...因此，从图1中，我们可以看出它对于评估模型定位性能，目标检测模型性能和分割模型性能是有用的。 ▌评估目标检测模型 ---- ---- 为什么选择mAP？...---- 目标检测问题中的每个图像都可能具有不同类别的不同目标。 如前所述，模型的分类和定位都需要进行评估。 因此，在图像分类问题中使用的精度的标准度量不能直接应用于此。...我将在另一篇文章中介绍各种目标检测算法，方法和性能。 现在，让我们假设我们有一个已经训练好的模型，我们正在验证集上评估它的结果。...对于每个类别，我们都会遵循相同的方法来计算IoU - >精度 - >平均精度。 所以我们现在有20个不同的平均精度值。 使用这些平均精度的值，我们可以轻松地判断任何给定类别的模型的性能。
▌如何评估深度学习目标检测模型的精度？ 当评估目标检测模型的性能时，我们使用的评价指标是平均精度均值（mAP ），mAP是基于我们数据集中所有类别的交并比（ IoU ）计算得到的。...交并比（ IoU ） 图 5：在这个交并比 IoU 的直观例子中，将真实值的边框（绿色）与预测的边框（红色）进行对比。IoU 与平均精度均值 mAP 一起被用于深度学习目标检测的精度评估。...任何用来提供预测边框（以及供参考的类标签）作为输出的算法，这些算法均能是用 IoU 进行评估。更正式地说，为了使用 IoU 来评价任意一种目标检测模型，我们需要： 1....平均精度均值（ mAP ） 为了在我们的数据集中评估目标检测模型的性能，我们需要计算基于 IoU 的mAP： 基于每个类（也就是每个类的平均精度）； 基于数据集中的所有类别（也就是所有类别的平均精度值的平均值...，术语为平均精度均值） 为了计算每个类的平均精度，对指定类中所有数据点计算它的 IoU。
▌如何评估深度学习目标检测模型的精度？ 当评估目标检测模型的性能时，我们使用的评价指标是平均精度均值（mAP），mAP是基于我们数据集中所有类别的交并比（IoU）计算得到的。...交并比（IoU） 图 5：在这个交并比 IoU 的直观例子中，将真实值的边框（绿色）与预测的边框（红色）进行对比。IoU 与平均精度均值 mAP 一起被用于深度学习目标检测的精度评估。...任何用来提供预测边框（以及供参考的类标签）作为输出的算法，这些算法均能是用 IoU 进行评估。更正式地说，为了使用 IoU 来评价任意一种目标检测模型，我们需要： 1....平均精度均值（mAP） 为了在我们的数据集中评估目标检测模型的性能，我们需要计算基于 IoU 的mAP： 基于每个类（也就是每个类的平均精度）； 基于数据集中的所有类别（也就是所有类别的平均精度值的平均值...，术语为平均精度均值） 为了计算每个类的平均精度，对指定类中所有数据点计算它的 IoU。
今天我们从交并比，准确率，精度，召回率，FPR, F1-Score, PR曲线，ROC曲线，AP的值，AUC的值以及很重要的mAP指标，模型的检测速度和非极大值抑制的相关方面来学习下目标检测中的评价指标...评估能力 那么PR曲线如何评估模型的性能呢？...平均准确率AP AP即Average Precision，称为平均准确率，是对不同召回率点上的准确率进行平均，在PR曲线图上表现为PR曲线下面的面积。AP的值越大，则说明模型的平均准确率越高。...上面我们知道了什么是AP，AP就是PR曲线下面的面积（如下图），是指不同召回率下的精度的平均值。...[qxkmkjjloa.png] 图5 AP的值 mAP衡量的是学出的模型在所有类别上的好坏，是目标检测中一个最为重要的指标，一般看论文或者评估一个目标检测模型，都会看这个值，这个值是在0-1直接，越大越好
多个深度学习框架也已将CUDA NMS纳入，作为基本函数使用，如Pytorch在Torchvision 0.3中正式集成了CUDA NMS。 缺点： 顺序处理的模式，计算IoU拖累了运算效率。...因而该文提出了IoU预测分支，来学习定位置信度，进而使用定位置信度来引导NMS。 ? image.png 优点： IoU-Guided NMS有助于提高严格指标下的精度，如AP75, AP90。...研究者进一步比较了Traditional NMS和DIoU-NMS的性能，在YOLOv3和SSD上，选取NMS阈值为[0.43,0.48]。...image.png 总结： 加权平均法通常能够稳定获得精度与召回的提升。 定位优先法，方差加权平均法与自适应阈值法需要修改模型，不够灵活。 中心点距离法可作为额外惩罚因子与其他NMS变体结合。...得分惩罚法会改变box的得分，打破了模型校准机制。 运算效率的低下可能会限制它们的实时应用性。
标记完成后，随着预测框的增多，召回率总会提升，在不同的召回率水平下对准确率做平均，即得到AP，最后再对所有类别按其所占比例做平均，即得到mAP。...在较早的Pascal VOC数据集上，常采用固定的一个IoU阈值（如0.5, 0.75）来计算mAP，现阶段较为权威的MS COCO数据集上，对不同的IoU阈值（0.5-0.95，0.05为步长）分别计算...AP，再综合平均，并且给出了不同大小物体分别的AP表现，对定位准确的模型给予奖励并全面地展现不同大小物体上检测算法的性能，更为科学合理。...：检测模型的基础网络通常使用ImageNet（通常是ImageNet-1k）上训练好的模型进行初始化，使用更大的数据集（ImageNet-5k）预训练基础网络对精度的提升亦有帮助 超参数的调整：部分工作也发现如...NMS中IoU阈值的调整（从0.3到0.5）也有利于精度的提升，但这一方面尚无最佳配置参照 最后，集成（Ensemble）作为通用的手段也被应用在比赛中。
AP50 这个术语在人工智能领域通常指的是“Average Precision (平均精度) at IoU (Intersection over Union) threshold 0.50”。...这里，“AP”代表平均精度，而“50”指的是交并比阈值为0.50时的性能指标。这个指标常用于评估目标检测算法的性能，即在预测边界框与真实边界框至少有50%重叠时，算法的平均精度表现。...AP_{50}=\int_{0}^{1}p_{50}(r)\,dr \tag{10} AP_{50} 表示在50%的IoU阈值下的平均精度。...AP=\frac{1}{T}\sum_{t\in\{50,55,\ldots,95\}}AP_{t} \tag{11} AP （平均精度）是多IoU阈值下的综合度量，全面评估目标检测性能。...它是从50%到95%每个IoU阈值 t 计算的 AP 的平均值，其中 T 是考虑的总阈值数。 交并比（IoU）。衡量某个数据集上目标检测器准确性的指标。它特别用于评估目标检测和分割模型。
例如，YOLO系列的最新版本YOLOv8，在COCO检测数据集上的平均平均精度（mAP）达到了53.9%，当在NVIDIA A100 GPU上使用TensorRT实现时，仅需要3.53毫秒就能检测图像中的目标...因此，如果作者使用传统的标签分配度量方法，如IoU、GIoU [12]、DIoU [13]和CIoU [13]，进行目标检测，对于小物体获得的正向样本数量将非常少。...常见的标签分配指标，如IoU、GIoU [12]、DIoU [13] 和 CIoU [13]，通常基于 Anchor 点与真实值之间的重叠。...在本文中，作者遵循传统的MaxIoUAssigner策略，直接使用SimD替代IoU。正样本阈值、负样本阈值和最小正样本阈值分别设置为0.7、0.3和0.3。...为了便于与之前的研究结果进行比较，在测试阶段，作者使用了AI-TOD基准评估指标，包括平均精度（AP）、AP、AP、AP、AP、AP 和 AP，用于AI-TOD、AI-TODv2和VisDrone2019
Google Open Images Dataset V4 Competition 使用 500 个类的平均平均精度 (mAP) 来评估目标检测任务。...Average Precision - AP平均精度 另一种比较对象检测器性能的方法是计算PR 曲线下的面积 (AUC) 。...这就是为什么平均精度(AP)，一个以数值形式的度量方法，也可以帮助我们比较不同的检测器。在实践中，AP 是所有 Recall 在 0 到 1 之间的平均精度。...，看下面的图吧） 将上图的面积分成几个矩形分别计算面积，加起来就是 AP 值 mean Average Precision - mAP平均精度 AP 是对单个 class 进行的测量，将所有的 class...的 AP 值都加起来除以 class 的个数，得到的就是 mAP 平均精度 reference https://github.com/rafaelpadilla/Object-Detection-Metrics
平均精度（AP）是目标检测任务常用的度量，我们还需要理解一些重要的概念，例Precision-Recall曲线、AP和IoU。...5.3 平均精度（AP）和平均精度均值（mAP） 平均精度（AP）将精确度-召回率曲线总结为，在每个阈值水平上，作为权重的前一个阈值的召回率的增加所达到的平均精度(AP)。...[AP=∑n(Rn−Rn−1)Pn ]其中，Pn和Rn是在第n个阈值处的精确度和召回率，根据上面的公式，AP是每个阈值在所有召回率上的平均精度。...平均精度均值（mAP）定义为：所有不同类别的平均精度的平均值，但有两种不同类型的mAP：Micro mAP和Macro mAP，Macro mAP为我们感兴趣的每一类对象独立地计算AP度量，然后计算平均值...在评估部分，我们了解了模型评估指标的三个新概念，包括精确度-召回率曲线、平均精确度（AP）、平均精确度均值（mAP）和交并比（IoU）阈值。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
