港科大最新开源：使用Catmull-Rom样条曲线的在线单目车道建图
港科大最新开源：使用Catmull-Rom样条曲线的在线单目车道建图
文章：Online Monocular Lane Mapping Using Catmull-Rom Spline
作者：Zhijian Qiao, Zehuan Yu, Huan Yin and Shaojie Shen
编辑：点云PCL
代码：https://github.com/HKUST-Aerial-Robotics/MonoLaneMapping.git
摘要
本研究提出了一种在线单目车道建图方法，完全依赖于单一摄像头和里程计来生成基于样条曲线的地图，我们提出的技术将车道关联过程建模为使用二分图的分配问题，并通过结合Chamfer距离、位姿不确定性和横向序列一致性为边赋予权重。此外我们精心设计了控制点初始化、样条参数化和优化过程，逐步创建、扩展和优化样条曲线。与以往使用自建数据集评估性能的研究不同，我们的实验是在公开可访问的OpenLane数据集上进行的。实验结果显示，我们提出的方法改善了车道关联和里程计精度，以及整体车道地图质量，现已将本项目的代码开源：https://github.com/HKUST-Aerial-Robotics/MonoLaneMapping.git
主要贡献
本文设计了一个完整的基于Catmull-Rom样条曲线表示的在线车道建图系统，如图1所示，所提出的系统允许自动驾驶车辆使用时序图像和里程计数据实时构建局部车道地图，这些地图可用于自定位、规划和众包更新。具体贡献如下：
- 提出了一个在线单目车道建图系统，包括车道跟踪和地图优化子系统，该系统可以直接输出由Catmull-Rom样条曲线表示的轻量级实例级车道地图，无需离线矢量化。
- 系统的每个部分都经过精心设计，将车道标记和样条曲线的特性结合在一起，包括车道关联、姿态估计、样条初始化、扩展和优化。
- 在公开可访问的OpenLane数据集上的实验结果表明，我们提出的方法可以改善车道关联、里程计精度和地图质量。
图1. 在OpenLane数据集上的实验结果，灰色点表示使用里程计进行多帧检测积累的结果，彩色曲线表示地图中不同实例的样条曲线的采样点，红色球体表示样条曲线的控制点。
主要内容
本文所提出的单目车道建图系统的结构如图2所示。该系统使用单目摄像机和里程计（如VIO、LIO）作为输入，输出紧凑的车道标记地图，以样条曲线表示，无需先验导航地图或航空照片。
图2. 该模块图描述了所提出的单目车道建图系统的整个流程。该系统分为两个部分：车道跟踪和地图优化。前者用于车道标记的关联和姿态更新，而后者用于样条曲线的初始化、扩展和优化，右侧显示了因子图，与传统的二进制视觉因子不同，这里包含了一个点对样条曲线的因子，用于优化四个控制点的地标。
具体来说，所提出的框架由两个子系统组成：车道跟踪和地图优化，在车道跟踪中，神经网络直接基于输入图像预测3D车道标记，然后这些预测结果经过进一步处理以满足后续需求，随后处理后的车道标记与地图中的车道标记进行关联，并结合里程计提供的姿态信息，最后根据关联结果更新姿态信息，在地图优化中，样条曲线首先从零开始进行初始化，或者根据新获得的检测结果对原始样条曲线进行扩展，最后应用增量优化框架iSAM2，将新的观测结果添加到地图中，以逐步更新地图中的样条曲线，同时不丢失过去观测的信息。
图5. (a) 需要关联的两帧车道标线图像。(b) 显示这两帧图像关联结果的可视化。在每个图像帧中，颜色表示车道标线的类别。在关联中红色表示不正确，绿色表示正确。由于姿态不确定性，仅基于欧几里德距离的关联可能导致不正确的结果。
算法1描述了初始化过程的主要步骤
实验
本文提议方法在OpenLane车道基准测试上进行了评估，该基准测试建立在Waymo数据集上，本文选择这个数据集，因为它具有3D车道标记和实例级跟踪标注，OpenLane包含1000个带标注的道路段，其中798个用于训练车道检测，202个用于评估映射质量和姿态估计。每个段落的平均长度约为135米，每秒10帧。整个数据集有14个车道标记的注释类别。大约25%的帧包含超过6个车道标记，这使得车道关联非常具有挑战性。此外数据集包含各种天气条件和复杂的道路场景，如大弯道、上下坡道和交叉口，可以有效地测试车道建图方法在实际场景中的性能。
A. 车道关联评估
表I显示我们提出的解决方案在F1得分方面是最优的，并保持了高效率水平。
B. 姿态更新评估
由于OpenLane数据集没有提供IMU测量或轮编码器测量数据，这使得我们无法运行VIO算法来获取实际的里程姿态，为了模拟由里程计引起的漂移，我们在每两帧之间添加一个随机噪声，包括三个自由度。表II展示了车道标线在姿态估计中的作用，表中的结果显示，整体车道标线可以帮助改进仅基于里程计的姿态估计。
C. 地图质量评估
为了更精确地评估所提出方法的性能，我们将验证集分为不同的场景。表III中的结果显示，我们的方法通过利用过去的检测结果在所有场景下提高了车道标线的召回率和精确度。为了评估我们的系统对于不同性能检测器的改进程度，我们随机地以概率p从当前检测结果中删除一个车道标线，如表IV所示，结果表明，在不同程度的干扰下，我们所提出的方法可以稳定地改进地图中的车道标线质量。
图7. 车道地图可视化，红色球体表示控制点，彩色点是不同样条曲线实例上的采样点，灰色点云是经过降采样后的原始检测结果，该图展示了各种车道场景：分叉、直线、曲线和交叉口。
总结
与单帧在线地图相比，本文提出的系统能够利用历史检测信息，保留历史信息有助于增强车道标记的召回率，此外，将历史观测结果纳入优化过程可以更精确地表示车道标记，此外该系统直接生成由样条曲线表示的矢量化地图。然而该方法的性能仍取决于车道检测的表现。此外对网络预测的不确定性进行建模需要投入精力，而不同于物理传感器，最后闭环检测对于构建全局一致的车道地图至关重要。
资源
自动驾驶及定位相关分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
自动驾驶中基于激光雷达的车辆道路和人行道实时检测（代码开源）
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享