SL-SLAM：基于深度特征提取和鲁棒匹配的视觉惯性SLAM

文章：SL-SLAM: A robust visual-inertial SLAM based deep feature extraction and matching

作者：Xiao Zhang, Shuaixin Li

编辑：点云PCL

欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。

摘要

文章探讨了利用深度学习技术来增强视觉SLAM系统性能的范式，特别是在具有挑战性的环境中。通过利用深度特征提取和匹配方法，作者提出了一种多功能的混合视觉SLAM框架，旨在提高在恶劣条件下的适应性，例如低光环境、动态光照条件、纹理较弱的区域和显著的相机抖动。在近年来出色的基于学习的算法基础上，我们从零开始设计了一个新颖的系统，该系统对所有SLAM任务使用相同的特征提取和匹配方法。我们的系统支持多种模式，包括单目、立体、单目惯性和立体惯性配置，为解决各种真实世界场景提供了灵活性。通过在公开数据集和自行收集的数据上进行全面实验，我们展示了我们的SL-SLAM系统相对于SOTA方法的卓越性能。还对将视觉SLAM与深度学习方法相结合的整合进行了深入分析，以定量地为该领域的未来研究提供见解。实验结果展示了该系统在实现更高的定位精度和稳健的跟踪性能方面的能力。为了促进进一步的研究和促进社区合作，我们已经将我们系统的源代码公开发布在 ：https://github.com/zzzzxxxx111/SLslam。

主要贡献

本文提出了一种基于深度学习的多功能SLAM系统。我们将Superpoint特征点提取模块纳入系统，并将此特征用作整个过程中的唯一表示。此外在复杂环境中，传统的特征匹配方法通常表现不稳定，导致跟踪和建图质量下降。然而基于深度学习的最新特征匹配方法在这种复杂环境中显示出了改进的匹配性能的潜力。这些方法利用场景的先验信息和结构细节来增强匹配效果。

作为最新的SOTA匹配方法，Lightglue由于其高效性和轻量级特性，在需要高实时性能的SLAM系统中表现出优势。因此，我们用Lightglue替换了整个SLAM系统中的特征匹配方法，提高了传统方法的鲁棒性和准确性。此外，我们对Superpoint特征点描述符进行了预处理，以配合相应的视觉词袋的训练。与Lightglue相结合，这种方法实现了精确的场景识别效果。同时，为了在准确性和效率之间取得平衡，我们设计了特征点选择策略。考虑到可扩展性、可移植性和实时性能，我们利用ONNX Runtime库部署这些深度学习模型。最后，我们设计了一系列实验来证明我们的方法提高了SLAM算法的轨迹预测精度和在各种具有挑战性的场景中的跟踪鲁棒性。总之这项工作中的贡献包括以下关键点：

1）我们开发了第一个基于深度特征提取和匹配的多功能同时定位和逼真地图制作系统。该框架支持各种环境中的单目、立体、单目惯性、立体惯性传感器。

2）为了更好地适应挑战性环境，我们将深度特征提取和匹配应用于整个SLAM系统的过程，包括跟踪、局部建图和闭环检测。设计了自适应特征筛选以及深度特征词袋适应于SLAM系统。

3）我们进行了大量实验来证明系统的有效性和鲁棒性，并且在公共数据集和自行收集的数据集上的结果表明，我们的系统优于其他最先进的SLAM系统。该系统完全采用C++和ONNX实现，并且可以以实时速度运行。我们在 https://github.com/zzzzxxxx111/SLslam 上发布了源代码。

内容概述

SL-SLAM的系统结构如图2所示，主要包含四种传感器配置，分别为单目、单目惯性、双目和双目惯性。在ORB-SLAM3的基础上构建，该系统由三个主要模块组成：跟踪（Tracking）、局部地图构建（Local Mapping）和闭环检测（Loop Closure）。为了将深度学习模型整合到系统中，采用了ONNX Runtime深度学习部署框架，包括superpoint和lightglue模型。

图2. SL-SLAM的框架

对于每个传入的图像，系统首先将其输入到SuperPoint网络中，以获取特征点的概率张量和描述子张量。然后，系统使用两帧图像进行初始化，并对每个后续帧进行粗跟踪。它通过跟踪局部地图来进一步细化姿态估计。在跟踪失败的情况下，系统利用参考帧进行跟踪或执行重新定位以重新获取姿态。需要注意的是，lightglue用于粗跟踪、初始化、参考帧跟踪和重新定位的特征匹配。这确保了准确而鲁棒的匹配关系，从而增强了跟踪的有效性。

图3. 特征提取概览

图 4. 使用不同特征匹配方法的匹配性能比较，图4(a)和图4(b)分别显示了ORB-SLAM3和SL-SLAM算法的匹配效果。

在基线算法中，局部地图线程的主要作用是实时动态构建局部地图，其中包括地图点和关键帧。它利用局部地图执行捆绑调整优化，从而减少跟踪误差并增强一致性。局部地图线程使用跟踪线程输出的关键帧，采用基于LightGlue的三角化和自适应局部捆绑调整（BA）优化来重建精确的地图点。然后，区分和删除冗余的地图点和关键帧。

图5. SL-SLAM和ORB-SLAM3之间的跟踪地图点比较。

图 6. SL-SLAM和ORB-SLAM3之间的地图点重建比较。

闭环修正线程利用关键帧数据库和基于SuperPoint描述子训练的词袋来检索相似的关键帧。采用SuperPoint描述子的二值化以增强检索效果。选定的关键帧经过特征匹配使用LightGlue进行共视几何验证，从而降低不匹配的可能性。最后，执行闭环融合和全局BA来优化整体姿态。

实验评估

所有实验均在配备Intel Core i7-11700 CPU、32GB内存和NVIDIA RTX 3080 GPU的计算机上进行，并在Ubuntu18.04操作系统上运行。在我们的实验中，我们采用绝对轨迹误差（ATE）的均方根误差（RMSE）来评估姿态估计的准确性。我们在三个数据集上测试了我们提出的方法：Euroc、TUM-VI和从各种具有挑战性条件的真实世界环境中收集的自己的数据集。为了确保我们算法的灵活性、可扩展性和实时性能，我们使用ONNX Runtime部署框架部署了深度学习模型。实验结果表明，我们的方法可以实现实时运行速度，并且GPU内存使用率低。

精度比较

在实验中，选择了几种最先进的SLAM算法进行比较，包括传统的视觉惯性SLAM方法，如VI-DSO、VI-ORB、OKVIS、VINS-Mono、ORB-SLAM3，以及具有开源代码的混合SLAM算法，如SP-Loop。和端到端的深度学习SLAM算法DVI-SLAM，我们从定量和定性的角度比较了Euroc数据集中的轨迹，实验的定量结果见表I。

轨迹的可视化以及ATE的误差如图7所示。可以看出，与SOTA的传统几何方法ORB-SLAM3相比，SL-SLAM估计的姿态更加稳定和准确。

图7. 在Euroc数据集上，我们的SL-SLAM与ORB-SLAM3的轨迹和绝对过渡误差比较。

同时，该方法还支持单目模式，我们选择了代表性的单目SLAM算法进行比较，包括DSO、SVO、DSM ，估计轨迹的绝对轨迹误差（ATE）如表II所示。

同时，我们的方法还支持立体和立体惯性传感器设置，在Euroc数据集上进行了实验。表III显示了Euroc数据集上立体惯性SL-SLAM的ATE（RMSE）的实验结果。我们选择了几种代表性的立体惯性SLAM系统，包括VinsFusion、BASALT、Kimera 和ORB-SLAM3。可以观察到SL-SLAM在11个序列中的8个序列上表现出最佳性能，由于我们方法在多传感器设置上的领先作用，足以证明我们方法的稳健性以及高可扩展性。

为了全面展示SL-SLAM的优势，我们在Tum-VI数据集上进行了实验。该数据集由手持设备捕获，并使用视觉惯性测距进行评估。数据集的轨迹仅包含开始和结束部分的地面真实姿态标签，这代表了整个轨迹的一小部分。因此，我们按照ORB-SLAM3的方法评估了整个轨迹的累积漂移。单目惯性SL-SLAM的结果如表IV所示，可以观察到，即使对于具有较长轨迹的序列，SL-SLAM在大多数序列中也实现了最低的累积漂移，表明我们方法的稳定性。

跟踪稳健性评估

为了验证我们方法的稳健性，我们使用自己的设备收集了一个数据集，以模拟各种具有挑战性的环境，并相应地测试了我们的方法。我们有意地设计了一些场景，包括光照变化、低光条件、低纹理环境和严重的相机运动。用于数据收集的手持设备包括一个单目摄像头（HIKVISION），图像分辨率为1440×1080，一个频率为100Hz的IMU（Xsense）和一个RTK模块。在室内使用Vicron运动捕捉系统获得地面真实轨迹。图像和IMU数据的每一帧都以rosbag格式存储。此外，还向IMU数据添加了高斯白噪声，以模拟传感器故障。

图 9. 在我们的数据集上比较SL-SLAM和ORB-SLAM3的跟踪性能

在这些条件下，如图9所示，我们的方法可以清晰地提取和跟踪低纹理区域和黑暗区域的地图点。即使在光照发生显著变化的情况下，跟踪的地图点仍然相对稳定。相比之下，ORB-SLAM3在这种情况下往往会丢失地图点的跟踪，并表现出越来越大的漂移，甚至在这种情况下完全失去跟踪。实验结果的定量分析如图10所示。实验结果表明，我们的方法在这些具有挑战性的环境中表现出良好的稳健性，显示出强大的适应性和稳定性。

图10. 我们的SL-SLAM与ORB-SLAM3在我们的数据集上的绝对位移误差比较

总结

本文提出了SL-SLAM这是一个多功能的视觉惯性SLAM系统，它集成了基于深度学习的特征点提取和匹配算法，以在挑战性环境中实现稳健性能。我们的方法利用了SuperPoint特征提取方法和Lightglue匹配算法，这些方法在准确性和稳健性方面表现出优越的性能，相较于传统方法。在整个SLAM系统的过程中使用SuperPoint特征点，并根据场景的复杂性自适应地调整校正点的数量。同时基于Lightglue构建了跟踪、重定位、三角测量和闭环检测方法，使得该方法能够在深度特征和匹配方法的整体几何SLAM框架中进行调整。通过对公共数据集和自采集数据集上各种传感器类型的最新方法进行定性和定量分析，展示了SL-SLAM在各种挑战性环境中的有效性和稳健性。在未来将探索如何利用深度特征提取和匹配实现多智能体的同时定位和地图构建。