业界首个实时多目标跟踪系统开源

相对业界研究比较多的单目标跟踪，多目标跟踪（Multi-Object Tracking，MOT）系统在实际项目中应用场景更多。

长期以来谈到此领域，大家都会推荐DeepSort算法（Simple Online and Realtime Tracking with a Deep Association Metric，2017），不过今天要刷新一下知识库了。

今天一篇多目标跟踪的论文Towards Real-Time Multi-Object Tracking，引起了不少人的关注，速度更快、精度更高、代码也已经开源了，非常值得参考。作者称，该算法是第一个实时的多目标跟踪算法。

该文作者信息：

来自清华大学和澳大利亚国立大学。

多目标跟踪往往采用tracking-by-detection 流程，分为用于目标定位的检测模型和目标关联的表观嵌入模型，长久以来，这两大模块是分开的。

作者的想法就是在这两大模块共享特征。

请看下图：

（a）为经典的检测与嵌入模块分离的模型；

（b）为两阶段模型，嵌入部分复用检测的特征；

（c）为本文提出的检测和嵌入联合的模型。

该文使用的主要方法是，将表观嵌入模型集成到一个单阶段目标检测模型中，如下图：

使其在进行目标检测预测的时候，预测head同时进行表观嵌入，另外，因为预测head是一个多任务的模型，对各个任务Loss函数进行自适应加权。

上图中（a）为网络架构，（b）为预测head的详细展示，包含分类、回归、嵌入的三个任务，和各Loss加权示意图。

作者在MOT-16多目标跟踪数据集上评估了算法精度和速度，结果如下：

该文提出的算法，MOTA接近state-of-the-art，比DeepSort精度高，速度快3-4倍。

以上算法评估作者是在Nvidia Titan xp GPU上运行的。

论文地址：

https://arxiv.org/pdf/1909.12605v1.pdf

开源代码：

https://github.com/Zhongdao/Towards-Realtime-MOT