TLD跟踪算法介绍

TLD跟踪算法介绍

TLD(Tracking-Learning-Detection)是一种长时视频对象跟踪算法，首先要在视频一帧中指明对象位置，Tracking完成在视频的每一帧中跟踪对象；Dtection完成对象外形与轮廓最小化塑造，需要时用来修正跟踪对象； Learning完成对Detection的量化评估，通过机器学习方法来减低与避免Detection再发生类似错误，常用为P-N 专家学习方法，P是负责估算漏检测模型、N是负责虚警率模型估算。以上几个就是TLD算法简单概述。下面是TLD算法的相关细节。

跟踪(Tracking)

长时跟踪算法常见的有两种方法一种是基于移动跟踪，另外一种是基于对象检测，一般来说基于对象检测的算法计算耗时都会比基于跟踪的算法长。跟踪主要是通过算法来预测对象移动，一般来说跟踪需要一个初始化标定，然后就会很快速的计算得到移动对象的平滑轨迹，另外一方面跟踪容易导致每帧之间都会产生累积误差，最终的结果就是导致算法错误而让跟踪对象跑出相机可视范围之内。对象跟踪主要任务是预估对象移动，常见的方法有基于光流、轮廓、关键特征点、人工模型等。常见的对象跟踪方法有两类

• 基于连续帧的对象移动
• 模板跟踪，其中模板有可以分为静态与自适应模板两种

检测(Detection)

TLD时候工作的对象检测方法常见的有两种

• 局部图像特征。基于特征的方法主要是分为如下三个子步骤

基于特征的方法，要求首先知道跟踪对象的几何位置

• 基于滑动窗口

基于滑动窗口的方法对输入每帧图像进行不同窗口尺寸的扫描，检测每个窗口下覆盖图像区域(Patch)是否包含待检测目标。为了达到实时检测的效果，滑动窗口通常采用级联分类策略与积分图快速计算方法。通常图像中背景窗口数目远远大于对象窗口数目，级联分类器通过不同Stage在早期拒绝超过大多数的背景区域，对剩下的区域(Patch)进行更加深入的特征匹配实现对象分类。基于级联分类器方法都要求离线或者在线的一定数量样本训练，然后才可以使用。

学习(Learning)

可以将跟踪数据分类提供给检测器，用来提供下一帧的跟踪精度，同时还可以重新初始化检测器，从而避免跟踪过程频繁失败的情况发生。学习方法应该满足如下条件

• 当跟踪失败时候，要处理相应的视频流帧图像
• 绝对不能在视频帧中没有跟踪对象的情况下降低检测精度
• 满足实时计算条件

对象学习的方法分为两类

• 机器学习(Machine Learning)常见的方法有EM、Self-Learning、Co-Training等半监督学习方法。
• P-N学习(P-N Learning),是一种现在学习方法，目的是提供TLD过程中的检测环节性能，在每帧视频流中，通过估算当前的检测准确率与错误率，然后更新检测器，避免错误的进一步发生。

总结与更多信息

跟TLD关系最密切的一个跟踪算法是Median Flow跟踪算法，而这两个算法的作者拥有同一个作者(Zdenek Kalal)，TLD跟踪阶段常见的是基于光流或者Median Flow实现。OpenCV3.1.0在扩展模块中有TLD与Median Flow跟踪算法实现，此外OpenTLD是个开发源代码的c++ TLD算法库，想进一步研究的可以去深入读一下。TLD最适合在跟踪对象被遮挡，不连续出现情况下，进行长时跟踪的应用场合。