论文解读｜Lepard：学习刚性和变形场景中的部分点云匹配

原创 | 文 BFT机器人

01

背景

点云匹配和配准在计算机视觉和机器人领域中具有广泛的应用，对于许多任务的成功实现至关重要。在许多应用中都有广泛的应用，例如三维建模、机器人导航、虚拟现实等。

点云匹配和配准的目标是将两个或多个点云对齐，以便进行后续的处理和分析。在实际应用中，点云可能会受到噪声、遮挡、非刚性形变等因素的影响，这使得点云匹配和配准变得更加困难。

因此，研究如何在这些复杂情况下实现高效准确的点云匹配和配准是一个重要的研究方向。

02

创新点

1. 提出了一种新型的点云匹配和配准方法Lepard，该方法利用了点云的3D位置信息，通过自注意力机制和交叉注意力机制实现了点云的特征提取和匹配。

2. 引入了一种新的点云匹配基准测试数据集4DMatch和4DLoMatch，这两个数据集包含了非刚性变形的点云，对于点云匹配和配准的研究具有重要意义。

3. 通过实验验证了Lepard方法在多个点云匹配和配准基准测试数据集上的优越性，包括3DMatch、3DLoMatch、4DMatch和4DLoMatch数据集。在这些数据集上，Lepard方法在刚性和非刚性情况下均取得了最先进的结果。

4. 提出了一种新的点云位置编码方法，该方法通过向量的点积来显式地表示点云之间的3D相对距离信息，从而提高了点云匹配和配准的准确性和鲁棒性。

03

算法介绍

将输入的点云表示为一个矩阵，其中每一行表示一个点的坐标和特征向量。将点云矩阵输入到一个自我注意力机制中，提取点云的特征向量。

将点云的位置信息编码到特征向量中，通过向量的点积来显式地表示点云之间的3D相对距离信息。将编码后的特征向量输入到一个交叉注意力机制中，计算点云之间的相似度矩阵。

将相似度矩阵输入到一个双softmax操作中，将相似度矩阵转换为置信度矩阵。然后根据置信度矩阵选择匹配点对，并使用互相最近邻的方法进一步筛选匹配点对。

最后使用ICP算法对匹配点对进行优化，得到最终的点云配准结果。

图1  所提方法概述

通过将点云表示分解为特征空间和3D位置空间的架构，Lepard能够更好地利用3D位置信息进行点云匹配，从而提高匹配的准确性。

位置编码方法能够明确显示3D相对距离信息，从而使Lepard能够更好地处理非刚性场景中的点云匹配。

重新定位技术能够修改交叉点云的相对位置，从而进一步提高匹配的准确性。

这些技术的组合使Lepard能够在刚性和非刚性场景中实现出色的点云匹配效果。

图2  自我/交叉注意力热图和基于刚性拟合的重新定位的可视化

04

实验

数据集：该论文使用了多个公开数据集进行实验，包括3DMatch、KITTI、Redwood、ETH、ICL-NUIM等。

实验设置：该论文使用了多种评价指标来评估点云匹配和配准的性能，包括EPE、Acc5、Acc10等。同时，该论文还与多种经典的点云匹配和配准方法进行了比较，包括N-ICP、Predator等。

图3  4DMatch和4DLoMatch基准测试

图3显示了4DMatch和4DLoMatch基准测试的直方图，其中重叠比例阈值设置为45%。

表1  4DMatch的消融研究

表1展示了4DMatch的消融研究结果，其中“*”表示我们方法的默认配置。该表格列出了不同方法在4DMatch数据集上的性能指标，包括NFMR和IR等。其中，NFMR表示未配对的点云对的比例，IR表示正确匹配的点云对的比例。

论文标题：

Lepard: Learning partial point cloud matching in rigid and deformable scenes

更多精彩内容请关注公众号：BFT机器人

本文为原创文章，版权归BFT机器人所有，如需转载请与我们联系。若您对该文章内容有任何疑问，请与我们联系，将及时回应。