前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >多目标跟踪评价指标

多目标跟踪评价指标

原创
作者头像
机器视觉CV
修改2020-06-15 17:19:58
3K0
修改2020-06-15 17:19:58
举报
文章被收录于专栏:机器视觉CV

多目标跟踪评价指标

**

如何评价

如何衡量目标跟踪,需要从以下几个点出发:

  • 所有出现的目标都要及时能够找到;
  • 目标位置要尽可能与真实目标位置一致;
  • 每个目标都应该被分配一个独一无二的 ID,并且该目标分配的这个 ID 在整个序列中保持不变。

根据这些要点,学者们设计了以下几种评价指标。

具体指标

MOT挑战赛的评价指标:https://motchallenge.net/results/MOT17/

image.png
image.png

互联网的一张图:https://blog.csdn.net/u012477435/article/details/104158573

MOTA:多目标跟踪准确度 (Multiple Object Tracking Accuracy, MOTA) 

衡量单摄像头多目标跟踪准确度的一个指标

image.png
image.png

图来自论文:MOT16: A Benchmark for Multi-Object Tracking

FN 为 False Negative(漏报),整个视频漏报数量之和。 FP 为 False Positve(误报),整个视频误报数量之和。 IDSW(IDS) 为 ID Switch(ID切换总数,误配):上图图(a),从红色的切换到了蓝色,记为一个 IDSW,整个视频误配数量之和。 GT 是 Ground Truth 物体的数量,整个视频 GT 数量之和。

MOTA 越接近于 1 表示跟踪器性能越好,由于有跳变数的存在,当看到 MOTA 可能存在小于 0 的情况。

这三项依次表示缺失率(

)、误判率(
)和误配率(

MOTA 主要考虑的是 tracking 中所有对象匹配错误,主要是 FP、FN、IDs、MOTA 给出的是非常直观的衡量跟踪其在检测物体和保持轨迹时的性能,与目标检测精度无关。

MOTP:多目标跟踪精确度 (Multiple Object Tracking Precision, MOTP) 

衡量单摄像头多目标跟踪位置误差的一个指标

MT  大多数跟踪(Mostly Tracked)

A target is mostlytracked if it is successfully tracked for at least 80% of its life span.

一条轨迹被跟踪到 80% 以上就可以认为是 MT

Note that it is irrelevant for this measurewhether the ID remains the same throughout the track.

这里需要注意的一点是:不管这条轨迹上 ID 如何的变化(比如预测的时候发生了变化),但只要还是这条轨迹占到真实轨迹的 80% 以上就可以认为是 MT。(下面这张图希望可以帮助理解)

image.png
image.png
image.png
image.png
ML 大部分缺失跟踪(Mostly Lost)

If a track is only recovered for less than 20% of its total length, it is said to be mostly lost

一条轨迹只被跟踪到 20% 以下就可以认为是 ML

image.png
image.png
PT 部分跟踪(Partially Tracked)

除了 MT、ML ,其他的都认为是 PT

Frag 或者称 FM(Fragmentation)

To that end, the number of track fragmentations(FM) counts how many times a ground truth trajectory isinterrupted (untracked). In other words, a fragmentationis counted each time a trajectory changes its status from tracked to untracked and tracking of that same trajectoryis resumed at a later point.

就是一条轨迹被切断的次数,按照论文的意思,应该是从跟踪到被切断计算一次 Frag,从不被跟踪到被跟踪不计算 Frag,如下图,Frag 值计算一次(不知道理解得对不对?)

image.png
image.png
image.png
image.png
ID 相关指标
  • IDP:识别精确度 (Identification Precision) 是指每个行人框中行人 ID 识别的精确度。

IDTPIDFP 分别代表真正 ID 数和假正 ID 数,类似于混淆矩阵中的 P,只不过现在是计算 ID 的识别精确度

  • IDR:识别回召率 (Identification Recall) 是指每个行人框中行人 ID 识别的回召率

其中 IDFN 是假负 ID 数。

  • IDF1:识别 F 值 (Identification F-Score) 是指每个行人框中行人 ID 识别的 F 值

细节很多,建议看看这篇论文: MOT16: A Benchmark for Multi-Object Tracking

相关论文与代码

**

CLEAR MOT : Bernardin, K. & Stiefelhagen, R. "Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metric" [paper]

IDF1 : Ristani, E., Solera, F., Zou, R., Cucchiara, R. & Tomasi, C. "Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking" [paper]

 MOT16: A Benchmark for Multi-Object Tracking

Evaluation Code[Python]

参考

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 多目标跟踪评价指标
    • 如何评价
      • 具体指标
        • 相关论文与代码
          • 参考
          相关产品与服务
          图像处理
          图像处理基于腾讯云深度学习等人工智能技术,提供综合性的图像优化处理服务,包括图像质量评估、图像清晰度增强、图像智能裁剪等。
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档