ICCV 2019 | 可变形曲面跟踪，亮风台新出基于图匹配的方法

今天跟大家分享一篇ICCV 2019 跟踪的论文：Deformable Surface Tracking by Graph Matching，国内AR（增强现实）公司亮风台提出使用基于图匹配的可变形表面跟踪算法，能够充分探索可变形表面的结构信息，显著提高跟踪性能。

该文作者信息：

作者来自亮风台公司、北京交通大学、Stony Brook University。

所提出的方法通过图结构之间的成对投影误差解决了特征对应和形状恢复问题，并采用软匹配松弛来提高计算效率。

与现有先进算法进行广泛比较后，实验结果表明，新方法可以对不同类型纹理的曲面实现稳健的跟踪结果，并且在跟踪精度和计算效率方面一般优于其它算法。

新提出的基于图的可变形表面目标的跟踪算法，主要贡献在三个方面：

1. 通过软匹配松弛和精心设计的候选匹配滤波策略，将图模型和图匹配引入到可变形表面跟踪中;
2. 设计统一的优化框架，探索局部外观，空间关系和变形模型的全部信息，以获得准确的形状重建;
3. 构造了一个带有注释的新的真实世界数据集，用于在不同类型的纹理的情景中评估可变形表面跟踪算法。

以下为论文的详解：

1. 综述

该文解决了跟踪具有已知初始3D形状（即模板）的通用可变形表面目标以及在单眼透视投影下在视频序列中恢复其3D形状的问题。模板可以被提前手动提供，或者使用从运动中恢复形状的方法从视频序列的数帧中计算模板。

与通常分别处理特征对应关系，去除异常值和形状重建的传统方法不同，该文将这些过程集成到一个统一的基于图的框架中，并提出迭代地解决求解对应关系和求解变形的优化问题。

考虑到计算效率，该文将传统图匹配问题中的强匹配约束放宽到松匹配约束。这种松匹配约束使该算法能够保持更多匹配细节，从而产生更精确的形状，并且通过在软匹配约束下开发的新颖匹配算法也极大地提高了计算效率。

伴随着精心设计的候选匹配过滤策略，该文的基于图的方法能够在几秒内处理数千个点，这比传统的基于图的算法快得多。

为了进行全面评估，该文将提出的方法与几个最近提出的方法在两个数据集上进行比较：

一个是提供的跟踪存在遮挡的表面（TSO）基准，包括存在目标被遮挡现象的两个视频序列；

另一个是新收集的数据集，包括使用不同表面在显著形变的条件下记录的11个视频序列，其中这些目标具有丰富，不明显或重复的纹理。

实验结果表明，该文的方法可以为所有视频序列提供最佳或近乎最佳的跟踪结果。在计算效率方面，该文的方法在两个数据集上的表现也通常优于参与比较的算法。

（CV君：由于微信不支持公式插入，故以下内容使用图片展示）

4. 实验

4.1. 新收集的数据集

最近，几个数据集被提供来用于评估可变形表面目标的跟踪。但是，它们中的大多数缺少带注释的真实结果(groundtruth)网格顶点。

而且，这些数据集是使用非常有限的表面类型的目标收集的，不足以评估可变形表面目标跟踪算法的有效性。

为了全面评估所提出的算法与基准算法的比较，该文创建了一个新的数据集用于可变形表面跟踪，称为可变形表面跟踪(DeSurT)。

使用Kinect相机收集此数据集，以评估各种变形和不同光照条件下的跟踪性能。它包含11个视频流和3,361个帧，显示几种不同类型表面的各种变形，包括七种不同内容的打印图像(分别是校园，砖，布，鹅卵石，景色，石头和日落)，两个报纸和两个靠垫。

如图所示，这些表面大致分为三类：

(1)纹理良好的表面，包括校园，鹅卵石，景色，报纸1，报纸2和坐垫1;

(2)重复纹理表面，包括砖，布和垫子2;

(3)弱纹理表面，包括石头和日落。

为了评估重建精度，该文使用Kinect点云来构建真实网格，并计算从重建网格到真实网格中顶点到顶点的平均距离。

因此，除了每个帧的深度信息之外，所有视频都在每帧中有手动标注的真实网格顶点(打印图片和报纸中使用130个顶点标注，坐垫用121个顶点标注)。

为了测试所提出的算法对遮挡的鲁棒性，该文还报告了算法在公共数据集(跟踪具有遮挡的表面(TSO)上的跟踪结果，这个数据集包括两个分别有着纹理良好和纹理不良的可变形表面目标的视频流，总共394个帧，并且数据集中存在人为和现实的遮挡。

4.2 结果比较与分析

在本节中，该文报告了所提算法与几种最先进的基线算法的比较结果，包括DIR，LM和LLS：

LM采用SIFT匹配进行特征对应，然后进行迭代异常值拒绝步骤，然后通过求解线性系统重建形状，该线性系统是使用扩展的拉普拉斯形式从退化的线性系统转换而来。

LLS仅关注形状重建步骤，并将关键点对应关系作为输入。在该文的实验中，(在异常值拒绝之后)使用从LM派生的关键点对应作为LLS的输入。

DIR是一种基于像素的方法，采用密集模板对齐进行形状重建。它在很大程度上取决于形状的初始估计，该文将其初始化为上一帧的解。

文中固定并分别公布了N=1000和N=2000两组实验结果。

表1. 平均跟踪误差(mm)

表2. 平均计算时间(s)

如表1所示，该文的算法对于具有丰富，弱或重复纹理的不同类型的表面是鲁棒的，并且即使在从每个表面提取相对较少的关键点(N=1000)以构建对应关系时也显着地优于所有基线算法。

对于遮挡表面(TSO数据集)，DIR在精心设计的遮挡检测策略的帮助下实现了最佳跟踪结果。

有趣的是，在没有任何指定的遮挡表面过程的情况下，该文的算法在TSO数据集上达到了与DIR相当的结果，并且一般优于LM和LLS。当将N上升到2000时，该文的算法的跟踪精度在两个数据集上都得到了显着的改善。

考虑到计算时间(表2)，DIR在两个数据集上都是最耗时的。该文的算法在N=1000时在两个数据集上击败其他算法。

当将关键点的数量增加到2000时，在TSO数据集上仍然是最有效的，但在DeSurT数据集上比LM慢。

图3至图6表明了由被比较算法提供的各种类型表面跟踪的几个代表性样本。对于结构良好的表面(图3)，所有算法都能够提供合理的跟踪结果，但该文的算法可以更好地处理细节。

如图4和图5所示，所有比较的基线算法都受到弱纹理和重复纹理化表面的影响，但该文的算法能够在帧间提供准确的跟踪结果。

此外，该文算法以及DIR对于遮挡是稳健的(图6)，而LM和LLS在存在一定程度的遮挡时可能无法跟踪到对象。

论文地址：

https://www3.cs.stonybrook.edu/~hling/publication/deformable%20surface-19.pdf

数据链接：

https://www3.cs.stonybrook.edu/~hling/data/DeSurT.rar （~2G）

因为之前工作相关，对亮风台这家公司还是比较了解的。亮风台是国内为数不多的持续深耕AR底层技术的公司，之前52CV也报道过他们的技术。

他们围绕AR开源了不少算法：包括图匹配算法（PAMI 2018a），2D AR跟踪算法（PAMI 2018b），投影补偿算法（CVPR 2019），单目标跟踪算法（ICCV 2017、CVPR2019）等等。

相信研究跟踪的同学肯定也了解一些他们曾经发布的数据集，TC-128，POT-210，LaSOT。其中TC-128是国际上第一个彩色跟踪评测集，POT-128是目前国际上最大的AR跟踪数据评测集，LaSOT是目前国际上最大的单目标跟踪评测集。