结构化PLP-SLAM：单目、RGB-D和双目相机使用点线面的高效稀疏建图与定位方案

文章：Structure PLP-SLAM: Efficient Sparse Mapping and Localization using Point, Line and Plane for Monocular, RGB-D and Stereo Cameras

作者：Fangwen Shu Jiaxuan Wang Alain Pagani Didier Stricker

编译：点云PCL

代码：https://github.com/PeterFWS/Structure-PLP-SLAM.git

本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经作者允许请勿转载，欢迎各位同学积极分享和交流。

摘要

本文展示了一个基于视觉同时定位和建图系统，该系统利用点和线进行鲁棒的相机定位，同时具有分割平面重建（PPR）模块，该模块提供了一个结构化地图在跟踪的同时构建比例一致的地图，例如使用单个摄像机带来了重建具有尺度不确定性的几何图元的挑战，并进一步引入了捆集（BA）图优化的问题。通过在重构的线和平面上提出几个运行优化来解决这些问题，然后，根据单目框架的设计，使用深度和双目传感器对系统进行扩展。结果表明，我们提出的同时定位建图紧密结合了语义特征，提高了前端跟踪和后端优化，在各种数据集上对我们的系统进行了详尽的评估，并开源了代码(https://github.com/PeterFWS/Structure-PLP-SLAM).

主要贡献

本文提出了一个模块化的单目同时定位和建图系统，除了标准特征点外，还利用了线跟踪和建图、实时分割平面重建和节点图优化，同时证明了可以在校正地图的情况下进行环路闭合检测，并基于预先构建的点-线图重新定位模块，然后，使用RGB-D和双目相机机扩展提出的建图方案，通过这种方式构建了结构化的稀疏视觉同时定位和建图方法，一个紧密结合语义特征的多功能框架。考虑到添加的特征线引入了更多的不确定性，并减慢了跟踪和优化速度，它被设计为对噪声输入具有鲁棒性，例如训练的CNN可能会对看不见的图像产生噪声预测，相机观察到的环境在实际中非常多样化，因此当点仍然是基本的几何图元时，在不强制任何强大假设的情况下重建和优化线和平面，因此我们的系统不局限于小规模场景。在室内数据集TUM RGB-D、ICL-NUIM和EuRoC MAV上对SLAM进行了详尽的基准测试。与其他最先进的同时定位和建图系统相比，本文给出的结果以及一些优越的定量结果。工作流程如图1所示，定性地表明我们重建的地图是准确、直观和高效的。

图1 本文的方案流程

主要内容

A、 基于结构的单目同时定位和建图

除了特征点之外，还需要适当设计帧到模型策略，其中相机位姿和地图在BA中迭代优化，因此，需要正确表示三维线段，并在迭代优化中使用相应的雅可比矩阵，然而，在单目同时定位和建图中，定义平面图的重投影误差并非易事，因此我们在三维点和三维平面之间添加了约束。

1） 充分利用线段：2D线段由LSD方法提取，并通过LBD描述子进行跨帧匹配。如PL-VINS所述，通过参数调整和长度抑制策略调整LSD的参数，以在计算效率和准确性之间实现最佳权衡，按照同样的方法，我们实现了线段提取，比OpenCV的原始实现快3倍。

2） 利用三维平面结构：在单目同时定位和映射中重建三维平面并非易事，因为只能获得有限的三维信息，如果我们试图重建从单个图像（不限于垂直布局）观察到的所有可能的平面实例，则很难强制执行曼哈顿假设。我们试图解释SLAM后端中3D点和3D平面之间的成对关系，并利用几何关系最小化其间的3D距离，如图3（b）所示。在这里，无限平面表示为π，其中n是平面法线，d是到世界原点的距离。

图3: 3D平面 a）利用空间优化的3D平面拟合的示例，它由给定的实例平面分割初始化，请注意，有两个平面被错误地分割为一个平面（通常是因为纹理相似），可以通过在3D局部邻域图中的图切割来分离，如高亮所示（b） 3D点的可能分布

B、 仅运动BA和局部BA

在这项工作中，点和线的重投影误差仅在运动BA和局部BA中最小化，因此，总体成本函数为

由于平面在统计上拟合在最佳位置，三维点和三维平面之间的距离最小，因此相关的三维点投影在平面上。

C、 闭环检测和全局BA

单目同时定位和建图的闭环检测旨在找到最佳验证环路候选（关键帧）后估计7自由度相似变换Sim(3)：

在这项工作中，闭环检测仍然使用基于ORB特征构建的给定DBoW词典，然后根据等式计算3D线相似性变换。

D、 重定位

基于特征的SLAM中的现有方法利用BoW的全局描述子进行图像检索，然后使用EPnP的闭式解初始化迭代优化，对运行时场景要有所限制，因此，如mono PL-SLAM中所做的那样，用EPnPL简单地替换EPnP不会带来显著的改善，在这项工作中，我们利用具有点和线重投影误差的BA，提供更好的精细相机位姿。请注意，我们优化了线的正交表示，而不是强制端点对应从EPnPL复制，这意味着我们的方法自然更有效，并避免了线段的移位歧义。

实验

A、 单目

fr3_structure_texture_far (dataset TUM RGB-D)

living_room_traj0 and living_room_traj2 (dataset ICL-NUIM)

MH_04_difficult (dataset EuRoC MAV)

Sequence_00 (data_odometry_gray, dataset KITTI)

RGB-D

fr2_pioneer_slam (dataset TUM RGB-D)

office_room_traj0 (dataset ICL-NUIM)

Stereo

MH_04_difficult (dataset EuRoC MAV)

V1_03_difficult (dataset EuRoC MAV)

视觉同时定位和建图系统的性能：在表一和表二中，我们给出了与其他最先进系统相比，我们的单目SLAM的轨迹误差，评估数据集ICL-NUIM提供了低对比度和低纹理合成室内图像序列，这对于单目同时定位和建图非常具有挑战性，而TUM RGB-D数据集提供了不同纹理和结构条件下的真实室内序列。在第三列中我们的方案中可以观察到在同时定位和建图中添加具有良好的重投影误差的线段的有效性。

图5：重新定位模块的评估，我们说明了序列freiburg3中所有重新定位图像的绝对位姿误差（APE）[m]，其中x轴表示相对时间戳。

表三：在数据集ICLNUIM上评估的RGB-D同时定位和建图给出了ATE-RMSE[cm]统计结果

表四：在数据集TUM RGB-D上评估的RGB-D同时定位和建图给出了ATE RMSE[cm]统计结果

总结

本文提出了一种稀疏视觉同时定位和建图方法，该方法利用点和线段进行稳健的摄像机定位，而平面是地图的附加部分，可以直观地说明场景的结构，通过实验给出了综合评价，并给出了各种重建图的定性结果，验证了我们的方法的可靠性，由于该系统是基于单目假设设计的，因此未来的工作将是将该全同时定位和建图系统推广到更具挑战性的场景，例如在无纹理场景中。