灵动讲堂——视觉跟踪算法简述

计算机视觉一直是灵动科技最为擅长的领域，在技术团队的不懈努力下，我们的计算机视觉技术已经达到了业内领先水平。但同时我们也乐于将更多知识分享出去，在分享中学习进步。下面不如和我们一起来学习一下由全球顶尖计算机视觉专家王博士为我们分享的视觉跟踪算法的相关内容吧。

近年来，视觉跟踪作为计算机视觉中的基础问题，得到了广泛的研究。跟踪算法也得到了广泛的应用，例如无人驾驶以及我们的智能行李箱。

视觉跟踪算法的主要功能是在视频序列中，给定一个目标的矩形框，算法在后续的视频序列中持续定位到目标的位置。

如何高效地利用机器学习的方法解决跟踪问题，以及如何将问题进行转化是非常核心的问题。通常，人们会将跟踪算法分为产生式跟踪算法和判别式跟踪算法。下面我将介绍几种更细致的划分。

分类器

显然，对于跟踪问题，我们可以构建一个前景（目标）-背景分类的分类器。在目标周围采样大量的正样本，在较远的周围采样许多的负样本，这样就可以构成一个前景-背景样本的训练集。在此基础上，我们可以使用SVM，基于树的判别模型进行分类。

这种做法的缺点也非常明显，为了得到判别能力很强的分类器，我们需要提取大量的正负样本；并且对于这些样本，提取特征也会花费较多时间；此外，判别器的学习也非常缓慢。这使得跟踪算法的实时性应用得到制约。

相关滤波（线性score回归）

在很长一段时间内，视觉跟踪算法都是基于上述的粒子滤波框架。直到2010年，Bolme 将相关滤波引入到视觉跟踪。这种算法利用循环移位的采样方式，可以密集的对目标图片进行采样。同时，算法通过傅里叶变换的方式将时域问题转换到频域进行求解，取得了超过600 FPS（frame per second）。

在此基础上，João 等人进行了核化以及多通道的扩展，得到大家较为熟知的KCF算法。从2013年到2017年，可以说是这一算法蓬勃发展时期，基本统治目标跟踪领域（每年有一半以上的目标跟踪算法都基于相关滤波）。

除了上述的发展背景，我们也需要指出，这种 算法相对于之前的分类器算法而言，只是在采样的方式上使用了循环移位的采样方式，将分类为题的0-1为题转化 成回归一个高斯响应。

位置回归

在上述背景中，我们在专注于跟踪领域发展的同时，也会同步的看到其他领域的发展。自从2012 NIPS会议中 AlexNet的诞生，深度学习宣告全面复苏。时至今日，当我们讨论到各个领域的方法的时候，深度学习都是几乎不 可避免的工具。

同样的，深度学习也逐步席卷目标跟踪领域。大量的算法通过直接使用深度学习特征来替换传统的手工特征，使得性能得到了显著提升。而本节中，我们主要讲解的是基于位置回归的深度学习算法——GOTURN。 这也是第一个实时的端到端深度学习跟踪算法。该算法通过离线过程中进行大量的训练学习，在线过程中，直接给定搜索图像和搜索区域，通过神经网络直接回归出目标在搜索图像中的位置。

这种算法的突破在于，在线过程中完全不需要任何的finetuning，以及不同于大多数基于分类和相关滤波的方法，直接进行位置回归。这也使得算法不需要进行大量的采样，效率非常高，可以在GTX1060上达到100FPS。

决策（RL）

除了上述的位置回归方式外，我们还可以通过将跟踪问题转换为决策问题。当给定目标图像和搜索区域的时候，我们可以通过选择是上下左右调整还是放大缩小的调整位置（每一次调整当做一个决策）。

当问题转换为决策问题后，我们就可以使用监督学习，以及强化学习（RL）来进行训练。同时，相比于传统的基于采样的方式，该算法只 需要几次迭代修正就可以找到目标，而不需要采样大量的样本，这也比传统的算法更加高效。

通过将跟踪算法进行转化的几种方式我们可以看出：一个简单的跟踪问题，通过不同的问题定义，竟然可以产生这么多的变化。这也印证了，一千个读者心中有一千个哈姆雷特。通过看待问题的角度的不同，是创造的一种方式。

上面就是王博士本次在灵动讲堂与大家分享的干货内容，其高深程度可谓非行家所不懂，不仅公司相关同事纷纷前来听课，周边高校的同学们更是慕名前来“蹭课”。在随后的灵动讲堂中，我们还会带来各类AI、机器人相关知识与大家分享，也欢迎有兴趣的同学前来观摩,与我们一起，探索未知。

若想获取更多目标跟踪相关的最新学术进展，欢迎关注王博士的个人主页：

https://github.com/foolwood/benchmark_results

查看往期分享