【多目标跟踪】Metric？那些你应该了解的MOT评价指标！

如何评价

如何衡量目标跟踪，需要从以下几个点出发：

• 所有出现的目标都要及时能够找到；
• 目标位置要尽可能与真实目标位置一致；
• 每个目标都应该被分配一个独一无二的 ID，并且该目标分配的这个 ID 在整个序列中保持不变。

根据这些要点，学者们设计了以下几种评价指标。

具体指标

MOT 挑战赛的评价指标：

https://motchallenge.net/results/MOT17/

互联网的一张图，基本涵盖了所有指标：

https://blog.csdn.net/u012477435/article/details/104158573

MOTA：多目标跟踪准确度

全称：Multiple Object Tracking Accuracy。衡量单摄像头多目标跟踪准确度的一个指标

图来自论文：MOT16: A Benchmark for Multi-Object Tracking

• FN 为 False Negative（漏报），整个视频漏报数量之和。
• FP 为 False Positve（误报），整个视频误报数量之和。
• IDSW 为 ID Switch（ID 切换总数，误配）：上图图 (a)，从红色的切换到了蓝色，记为一个 IDSW，整个视频误配数量之和。
• GT 是 Ground Truth 物体的数量，整个视频 GT 数量之和。

MOTA 越接近于 1 表示跟踪器性能越好，由于有跳变数的存在，当看到 MOTA 可能存在小于 0 的情况。

这三项依次表示缺失率（

）、误判率（

）和误配率（

）

MOTA 主要考虑的是 tracking 中所有对象匹配错误，主要是 FP、FN、IDs、MOTA 给出的是非常直观的衡量跟踪其在检测物体和保持轨迹时的性能，与目标检测精度无关。

MOTP：多目标跟踪精确度

全称：Multiple Object Tracking Precision。衡量单摄像头多目标跟踪位置误差的一个指标

表示 第 t 帧的匹配个数，对每对匹配计算匹配误差

表示第 t 帧下目标

与其配对假设位置之间的距离

MT 大多数跟踪（Mostly Tracked）

A target is mostlytracked if it is successfully tracked for at least 80% of its life span.

一条轨迹被跟踪到 80% 以上就可以认为是 MT

Note that it is irrelevant for this measurewhether the ID remains the same throughout the track.

这里需要注意的一点是：不管这条轨迹上 ID 如何的变化（比如预测的时候发生了变化），但只要还是这条轨迹占到真实轨迹的 80% 以上就可以认为是 MT。（下面这张图希望可以帮助理解）

ML 大部分缺失跟踪（Mostly Lost）

If a track is only recovered for less than 20% of its total length, it is said to be mostly lost

一条轨迹只被跟踪到 20% 以下就可以认为是 ML

PT 部分跟踪（Partially Tracked）

除了 MT、ML ，其他的都认为是 PT

Frag 或者称 FM（Fragmentation）

To that end, the number of track fragmentations(FM) counts how many times a ground truth trajectory isinterrupted (untracked).In other words, a fragmentationis counted each time a trajectory changes its status from tracked to untracked and tracking of that same trajectoryis resumed at a later point.

就是一条轨迹被切断的次数，按照论文的意思，应该是从跟踪到被切断计算一次 Frag，从不被跟踪到被跟踪不计算 Frag，如下图，Frag 值计算一次（不知道理解得对不对？）

ID 相关指标

• IDP：识别精确度 (Identification Precision) 是指每个行人框中行人 ID 识别的精确度。

IDTP、IDFP 分别代表真正 ID 数和假正 ID 数，类似于混淆矩阵中的 P，只不过现在是计算 ID 的识别精确度

• IDR：识别回召率 (Identification Recall) 是指每个行人框中行人 ID 识别的回召率

其中 IDFN 是假负 ID 数。

• IDF1：识别 F 值 (Identification F-Score) 是指每个行人框中行人 ID 识别的 F 值

细节很多，建议看看这篇论文：MOT16: A Benchmark for Multi-Object Tracking : https://arxiv.org/pdf/1603.00831

相关论文与代码

CLEAR MOT : Bernardin, K. & Stiefelhagen, R. "Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metric"

https://cvhci.anthropomatik.kit.edu/images/stories/msmmi/papers/eurasip2008.pdf

IDF1 : Ristani, E., Solera, F., Zou, R., Cucchiara, R. & Tomasi, C. "Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking"

https://users.cs.duke.edu/~ristani/bmtt2016/ristani2016MTMC.pdf

MOT16: A Benchmark for Multi-Object Tracking: https://arxiv.org/pdf/1603.00831

Evaluation Code: Python: https://github.com/cheind/py-motmetrics

参考

• https://zhuanlan.zhihu.com/p/35391826
• https://blog.csdn.net/u012477435/article/details/104158573
• https://zhuanlan.zhihu.com/p/108962781