如何衡量目标跟踪,需要从以下几个点出发:
根据这些要点,学者们设计了以下几种评价指标。
MOT 挑战赛的评价指标:
https://motchallenge.net/results/MOT17/
互联网的一张图,基本涵盖了所有指标:
https://blog.csdn.net/u012477435/article/details/104158573
全称:Multiple Object Tracking Accuracy。衡量单摄像头多目标跟踪准确度的一个指标
图来自论文:MOT16: A Benchmark for Multi-Object Tracking
MOTA 越接近于 1 表示跟踪器性能越好,由于有跳变数的存在,当看到 MOTA 可能存在小于 0 的情况。
这三项依次表示缺失率(
)、误判率(
)和误配率(
)
MOTA 主要考虑的是 tracking 中所有对象匹配错误,主要是 FP、FN、IDs、MOTA 给出的是非常直观的衡量跟踪其在检测物体和保持轨迹时的性能,与目标检测精度无关。
全称:Multiple Object Tracking Precision。衡量单摄像头多目标跟踪位置误差的一个指标
表示 第 t 帧的匹配个数,对每对匹配计算匹配误差
表示第 t 帧下目标
与其配对假设位置之间的距离
A target is mostlytracked if it is successfully tracked for at least 80% of its life span.
一条轨迹被跟踪到 80% 以上就可以认为是 MT
Note that it is irrelevant for this measurewhether the ID remains the same throughout the track.
这里需要注意的一点是:不管这条轨迹上 ID 如何的变化(比如预测的时候发生了变化),但只要还是这条轨迹占到真实轨迹的 80% 以上就可以认为是 MT。(下面这张图希望可以帮助理解)
If a track is only recovered for less than 20% of its total length, it is said to be mostly lost
一条轨迹只被跟踪到 20% 以下就可以认为是 ML
除了 MT、ML ,其他的都认为是 PT
To that end, the number of track fragmentations(FM) counts how many times a ground truth trajectory isinterrupted (untracked).In other words, a fragmentationis counted each time a trajectory changes its status from tracked to untracked and tracking of that same trajectoryis resumed at a later point.
就是一条轨迹被切断的次数,按照论文的意思,应该是从跟踪到被切断计算一次 Frag,从不被跟踪到被跟踪不计算 Frag,如下图,Frag 值计算一次(不知道理解得对不对?)
IDTP、IDFP 分别代表真正 ID 数和假正 ID 数,类似于混淆矩阵中的 P,只不过现在是计算 ID 的识别精确度
其中 IDFN 是假负 ID 数。
细节很多,建议看看这篇论文:MOT16: A Benchmark for Multi-Object Tracking : https://arxiv.org/pdf/1603.00831
CLEAR MOT : Bernardin, K. & Stiefelhagen, R. "Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metric"
https://cvhci.anthropomatik.kit.edu/images/stories/msmmi/papers/eurasip2008.pdf
IDF1 : Ristani, E., Solera, F., Zou, R., Cucchiara, R. & Tomasi, C. "Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking"
https://users.cs.duke.edu/~ristani/bmtt2016/ristani2016MTMC.pdf
MOT16: A Benchmark for Multi-Object Tracking: https://arxiv.org/pdf/1603.00831
Evaluation Code: Python: https://github.com/cheind/py-motmetrics