PREDATOR: 低重叠三维点云的配准方法（CVPR2021）

代码地址：在公众号「3D视觉工坊」，后台回复「PREDATOR」，即可直接下载。

图1 PREDATOR的将注意力集中在重叠区域，并选择该区域的显著点，以便在低重叠情况下仍能进行鲁棒配准。

针对的问题：

1.实际应用中很多情况点云是低重叠的。例如在狭窄的走廊上移动时或者在密集的建筑区域，森林等处移动，又例如考虑到数据采集的昂贵成本，点云采集往往追求低次数的扫描，只有必要的重叠。

2.目前绝大多数的评价数据集都是高重叠率的点云数据，但当两个点云之间的重叠低于30%时，即使是最知名的方法的配准性能也会迅速恶化。

重要的贡献：

1. 分析为什么现有的配准体系在低重叠制度下会崩溃

2. 提出一种新颖的重叠注意块，允许两个点云之间的早期信息交换，并将后续步骤集中在重叠区域上。

3. 提出一种改进特征点描述符的方案，调节点云时也同时在对应点云上进行调节。

4. 提出了一种新颖的损失函数来训练匹配度分数，有助于更好地提取兴趣点，使兴趣点具有更强的可重复性。

算法原理：

作者所提出的PREDATOR是一个双流编解码器网络。该网络的实现使用的是KPConvstyle点卷积的残差块，但是这个主干架构是不可知的，当然也可以用其他的三维卷积公式来实现。PREDATOR的体系结构可以分解为三个主要模块:

1.将两个点云编码成更小的超点集，并关联其中潜在的特征编码，共享权值。

2.重叠注意模块（在bottleneck中）提取两个点云特征编码之间的共同上下文信息，并给每个叠加点分配两个重叠分数，量化叠加点本身及其软对应在两个输入之间重叠位置的可能性。

3.将相互制约的bottleneck解码为逐点的描述符以及重叠点的匹配分数。

图2 PREDATOR的网络结构

最后，PREDATOR使用端到端的训练，用了三次损失函数。

第一个是circle loss，代表圆形搜索半径内点云P和Q的对应关系损失：

第二个是Overlap loss，代表重叠概率，对重叠概率的估计采用二值分类，并利用重叠损失进行监督：

第三个是Matchability loss，代表在训练期间的给定点与当前的特征描述符成功匹配的关键点。作者将预测转换为二值分类，并动态生成ground truth标签：

实验部分：

作者使用3DMatch和3DLoMatch数据集评估了PREDATOR。此外，作者比较了ModelNet40和 PREDATOR的配准性能，实验结果如下：

表1 不同兴趣点采样策略下的PREDATOR性能研究

表2 不同算法在3DMatch和3DLoMatch数据集上的结果

表3 ModelNet和ModelLoNet的评价结果

结论：

作者介绍了PREDATOR，一个为低重叠点云的成对配准而设计的深度学习模型。该模型的核心是一个重叠注意模块，可以在点云的潜在编码之间进行早期信息交换，从而推断哪些点可能位于重叠区域。PREDATOR可以向多个方向发展，目前它与全卷积点云编码器紧密耦合，依赖于瓶颈中有合理数量的叠加点。此外，它建立在普遍的重叠区域定义的基础之上，该定义计算具有可行对应关系的点的分数。

备注：作者也是我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。