配备全向摄像机和无共视LiDAR的混合3D-SLAM系统

文章：Coarse-to-fine Hybrid 3D Mapping System with Co-calibrated Omnidirectional Camera and Non-repetitive LiDAR

作者：Ziliang Miao1 , Buwei He1 , Wenya Xie1 , Wenquan Zhao1 , Xiao Huang1 , Jian Bai2 , and Xiaoping Hong

编辑：点云PCL

摘要

本文介绍了一种新颖的3D SLAM移动机器人，配备具有全向视场（FoV）的传感器套件，包括非共视LiDAR和全向摄像机。由于LiDAR的非共视扫描特性，提出了一种自动的无目标共同标定方法，用于同时标定全向摄像机的内参和摄像机与LiDAR的外参，这对于在测绘和地图制定任务中将颜色和纹理信息引入点云是至关重要的。分别对比和分析了基于目标的内部标定和基于互信息（MI）的外参标定。通过这个共同标定的传感器套件，混合SLAM移动机器人整合了基于里程计的SLAM模式和静止SLAM模式。同时提出了一种新的工作流程，实现从粗到精的SLAM，包括在全局环境中使用基于里程计的SLAM模式进行高效粗略SLAM；基于粗略地图规划感兴趣区域（ROI）的视点；导航到每个视点，并对ROI进行更精细和精确的静止扫描和建图。将精细地图与全局粗略地图拼接，提供比传统的静止方法和新兴的基于里程计的方法更高效和更精确的结果。

主要贡献

• 提出了第一个混合3D SLAM机器人系统，集成了基于里程计和静止建图模式。通过单一的全向非共视Livox Mid-360 LiDAR，可以保证两种模式下点云的一致性。
• 引入了全向摄像机以补充全向LiDAR。提出了一种新颖的自动无目标共同标定方法，同时标定内参和外参数。
• 展示了自动的从粗到精的混合SLAM工作流程，包括在全局环境中基于里程表的粗略建图，对ROI中视点的规划，以及在视点处进行更精细的静止建图。整个项目已在GitHub上开源，以促进这一新兴领域的发展。

图1. 3D SLAM系统：(a) 当前的激光扫描系统和移动激光扫描系统；(b) 提出的混合slam机器人系统。

内容概述

共同标定的全向感知套件

Livox Mid-360 LiDAR具有360° × 55°的视场（FoV），具有非重复的扫描模式，随着时间的推移，点云变得越来越密集（FoV的覆盖接近100%），如图2b所示。这一独特特性特别有利于基于里程计和静止建图模式。全向摄像机提供周围环境的彩色信息，具有相应的360° × 70° FoV（图2a）。两个传感器同步并安装在一个双轴云台上（图1b），将扫描视场扩展到360° × 300°。

图2. 传感器配置：(a) 全向摄像机和Livox Mid-360 LiDAR，两者均安装在云台上；(b) 由于Livox LiDAR的非重复扫描特性，随时间积累的点云

由于LiDAR的非重复扫描特性，始终可以获得极其密集的点云，为环境提供了3D的真实地面信息。这个高分辨率的点云可以通过LiDAR反射率的像素值投影到2D图像平面上，从中提取清晰的边缘特征。为了对齐LiDAR和摄像机的边缘，共同标定迭代地最大化了投影LiDAR边缘点与全向摄像机边缘像素的对应。采用核密度估计（Kernel Density Estimation，KDE）来估计具有不同分布平滑度（通过调整带宽系数）的摄像机边缘分布，以获得全局最优解。整个共同标定过程可以分为以下两个步骤（见图3）：

图3. 提出的共同标定过程。灰度值表示像素内投影LiDAR点的平均反射率。

边缘提取：

1. 针对摄像机和LiDAR分别进行边缘提取，采用曝光融合和Canny边缘提取对摄像机图像进行处理，使用GICP算法对LiDAR点云进行拼接。
2. 利用LiDAR反射率生成灰度图像，再次进行Canny边缘提取，最终在原始3D点云中识别边缘像素。

迭代优化：

1. 在全向图像空间中进行迭代优化，将LiDAR边缘点通过投影转换为图像坐标，采用Levenberg-Marquardt方法和核密度估计实现概率最大化。
2. 通过多轮迭代优化，逐渐减小带宽，实现对共同标定参数的平滑接近，确保最终获得准确的标定值。

粗到精混合SLAM的工作流程

通过共同标定和同步，将获取的LiDAR点在坐标和颜色上表示，在粗略建图阶段，利用里程计/SLAM方法获取机器人的自身位姿和运动结果，并将扫描到的点转换并配准到全局地图。基于粗略地图，规划了用于目标区域静止建图的视点。机器人通过里程计/SLAM依次导航到这些视点，执行精细建图。在每个视点，进行静止扫描，然后通过GICP算法对所有定位结果、云台状态以及静止扫描进行优化，形成精细地图。最终的GICP优化足够准确，可以产生更好的本体定位结果，使得这一方法在精细建图中取得了令人满意的效果。其工作流程图如图5.

图5. 提出的粗到精混合建图工作流程

实验

提出的共同标定方法在三个自然场景中表现出色。投影误差（以像素为单位）被定义为LiDAR投影点到目标集合中最近点的距离，经评估后发现在所有场景中，投影误差均在3个像素或更少的范围内，展现了共同标定的高效性。共同标定后的着色点云呈现更好的一致性。这一方法的性能优于传统的基于目标的内参标定和最先进的基于互信息的外参标定。图6展示了提出的共同标定方法在三个自然场景中的有效性

图6. 三个场景中的共同标定结果：(a) 在相机图像上对齐的LiDAR边缘点（红色）；(b) 共同标定前后着色点云的比较，显示像素平均投影误差

内参标定结果分析：在内参标定结果分析中，我们进行了基于目标的内参标定的比较，并选择了30个手动选定的棋盘格作为参考集合。结果表明，随着棋盘格数量的增加，标定更加准确和稳定。然而，基于目标的方法需要在传感器周围均匀而密集地放置许多棋盘格，并手动选择适当的棋盘格，这在实地操作中可能是不可行的且耗时费力。与此相反，共同标定方法利用密集的LiDAR点作为丰富、全面和准确的特征，去除了人工目标和人的参与，因此成为一种准确、高效且适用于实地操作的方法。与传统方法相比，共同标定的结果在相同的参考集合上表现出显著的改进性能。

图7. 与基于目标的内参标定方法的比较：(a) 三十个棋盘格的位置；(b) 基于目标的标定（蓝色）和提出的共同标定（橙色）的投影误差图。

外参标定结果分析：基于互信息（MI）的外参标定方法存在准确性不足的问题，主要原因包括照明条件、物体表面反射特性以及光谱反射差异。该方法利用LiDAR点的反射率和相机像素的灰度强度值进行标定，但由于照明和表面特性的差异，以及不同颜色材料的光谱反射不同，导致了强度响应存在显著差异。相较之下，提出的共同标定方法在接近最优解的成本函数中显示出更敏感和可靠的梯度，通过利用密集的LiDAR点作为丰富、全面和准确的特征，消除了人工目标和人的参与，提供了更为准确、高效和适用于实地操作的标定方案。

图8. 提出的方法与基于互信息的方法之间的标准化成本函数比较。最优值应位于根据制造估计的灰色区域内。

粗到精混合建图结果：在南方科技大学校园的一座学术楼中演示了提出的粗到精混合建图方法。全局粗建图由Fast-LIO在十分钟内生成，基于这个全局粗建图选择了感兴趣区域（ROI）（图10a）。在这种情况下，在这个ROI中合理规划了五个视点（图10b），并在每个视点进行了三分钟的定点扫描（图10c）。

图10. 粗到精混合建图：(a) 基于里程计的全局粗建图；(b) 所选ROI的粗建图，标记显示了计划的视点；(c) ROI的精细建图，颜色表示来自相应视点的扫描

全局粗略建图：使用Fast-LIO在十分钟内生成了全局粗建图。这为整个建图过程提供了基础，并在接下来的精细建图中发挥着关键作用。

感兴趣区域（ROI）规划：基于全局粗建图，选择了ROI，其中包含需要更精细建图的区域。在选择的ROI中，合理规划了五个视点，为接下来的定点扫描提供了位置信息。

定点扫描：在每个规划的视点，进行了三分钟的定点扫描，使用LiDAR和相机采集了丰富的点云和颜色信息。这一步骤在建立精细地图的同时，为点云着色提供了准确的图像信息。

图11. 粗细建图的比较：(a) 三个场景中的粗建图和精细建图。左列显示大尺度的粗建图，右列显示放大的粗建图和精细建图的顶视图（以可视化墙体厚度）和第三人称视图（以可视化场景）；(b) 三个场景的建图精度；(c) 三个场景的建图准确度；(d) 精细建图的顶视图，进行了颜色处理；(e) 精细建图ROI的第三人称视图，进行了颜色处理。

平面厚度评估：通过选择具有较小第三特征值 λ3 的局部平面，并假设沿平面法线方向的点遵循高斯分布，进行了对粗建图和精细建图的定量评估。结果显示，精细建图在精度上明显优于粗建图。

着色建图：利用准确的共同标定结果，成功将LiDAR点从图像信息中进行了着色，产生了具有颜色信息的混合建图。这有助于提高建图的可视化效果和解释性。

与传统系统比较：通过与当前广泛使用的TLS和MLS系统进行比较，提出的系统展现出更高的灵活性和效率，是第一个能够自动规划视点的混合建图机器人系统。在表I中对比了提出的系统与当前广泛使用的TLS和MLS系统

总结

本文提出了一种基于全向摄像头和非重复扫描的Livox LiDAR的粗到精混合3D建图机器人系统。这个混合建图方法同时整合了基于里程计和静止扫描两种模式，集成在一个移动式建图机器人中，实现了高效、精准和准确的建图工作流程。与此同时，提出的自动且无需目标的共同标定方法提供了准确的参数来生成有颜色的建图。具体来说，标定基于从摄像头图像和LiDAR反射中提取的边缘，与基于互信息的标定方法进行比较，后者可能由于光源中的反射性质、物体表面的反射特性以及互信息方法中的光谱反射不一致而表现不佳。