综述：生成自动驾驶的高精地图技术（2）
文章：High-Definition Map Generation Technologies for Autonomous Driving
作者：Zhibin Bao, Sabir Hossain, Haoxiang Lang, Xianke Lin
编译：点云PCL
来源：arXiv 2022
本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经作者允许请勿转载，欢迎各位同学积极分享和交流。
摘要
本文回顾了最近利用二维和三维地图生成高精地图生成技术，介绍了高精地图的概念及其在自动驾驶中的作用，并对高精地图生成技术进行了详细概述，还将讨论当前高精地图生成技术的局限性，以推动未来的研究。
高精地图包含自动驾驶所需的道路/环境的所有关键静态特性（例如：道路、建筑物、交通灯和道路标记），包括由于遮挡而无法由传感器检测到的对象，近年来，用于自动驾驶的高精地图以其高精度和丰富的几何和语义信息而著称，它与车辆定位功能紧密相连，并不断与不同的传感器交互，包括激光雷达、雷达和摄像头，以构建自动驾驶系统的感知模块，这种交互最终支持自动驾驶车辆的任务和运动规划，如图1所示。
图1：自动驾驶系统架构：高精地图包含关于道路/环境的静态信息和属性，包括由于遮挡而无法被感知模块检测到的对象，根据道路特征定位车辆自身位姿，环境与感知模块提供车辆自身周围的实时环境信息，HD-map和perception模块协同工作，最终支持自主任务和运动规划模块，包括导航、运动制导和稳定性控制
高精地图的特征提取方法
为了让车辆自身进行定位任务，需要进行特征提取，例如道路/车道提取、道路标记提取和杆状对象提取，传统上特征提取由人工完成，成本高、耗时长、精度低，近年来，机器学习辅助高精地图生成技术得到了发展和广泛应用，以提高特征提取精度和减少人工工作量，机器学习辅助高精地图生成利用 human-in-the-loop（HITL）技术，该技术涉及人机交互，人工进行数据标记，标记的数据使用监督学习进行训练，高精度/置信度分数的结果将保存到HD地图，低精度/置信度分数的结果将由人类检查并发送回算法进行重新训练，机器学习已被广泛应用于提取道路/车道网络、道路标线和交通信号灯。
A
道路网提取
1） 基于二维航空影像的道路提取
路线图/网络对于自动驾驶系统至关重要，以定位车辆自身位置并规划路线，从航空图像中提取路线图也很有吸引力，因为航空照片通常覆盖城市范围的地图，并通过卫星不断更新，然而，从航空图像手动创建路线图既费力又耗时，由于人为错误，它也不能保证精确的路线图，因此，需要能够自动化路线图提取过程的方法，二维航空影像的自动路网提取可分为三种不同的方法：基于分割的方法、迭代图生长方法和图生成方法。
a） 基于分割的方法
基于分割的方法从航空图像中预测分割概率图，精细化分割预测并通过后处理提取图形。
图7：基于分割的方法实例：道路分段以绿色高亮显示，红线是提取的道路中心线，黄色虚线显示道路的潜在连接，蓝色线是由A*算法选择的潜在线
b） 迭代图增长方法
迭代图增长方法通过先选择道路网络的几个顶点，从二维航空图像生成道路网络，然后，逐顶点生成道路，直到创建整个道路网络。
图8：利用迭代图生长方法对航空影像进行道路网络提取，绿线提取为道路
c） 图生长方法
图生长方法直接从航空图像中预测路网图，该方法将输入的航空图像编码为向量场，通过神经网络进行预测，然后通过解码算法将预测解码为图形，该方法已被用于预测路网图，包括线段、线形对象和多边形建筑。
图 9 图生长方法：csBoundary 系统架构
2） 基于三维点云的道路提取
在生成高精地图的过程中，基于三维点云的道路或车道线提取得到了广泛的应用，激光雷达点云具有高精度，通常在毫米级精度，并包含扫描对象的几何信息，使用3D点云的道路提取是使用分割完成的。
3D点云数据是通过在SUV顶部放置一个激光雷达穿过CBD收集的，如图10所示，以闭环方式收集点云数据，以避免累积配准错误导致的漂移问题。闭环检测算法用于提取形成回环的点云，其中仅提取属于特定循环的帧，然后对提取的回路点云进行预处理，包括下采样，分割地面点，并移除车辆自身和附近的无关点，使用3D正态分布变换（NDT）配准和合并预处理的回路点云。对合并的原始点云进行后处理，包括空间子采样、噪声去除、重复点去除和平滑，以生成最终提取的道路。
图10：循环的采集数据，道路点云以循环的方式高亮显示，其他对象的点云位于背景中
Ding等人以大学校园的一部分为具体场景，构建了三维高精地图。将他们的高精地图架构分为四个不同的层，包括定位层、道路向量和语义层、动态对象层和实时交通层。
图11：校园建筑数字3D场景（左）及其高精地图（右）
3） 基于传感器融合方法的道路/边界提取
二维航空影像和三维点云上的道路提取都有局限性，由于光照条件差、路边设施造成的遮挡以及各种地形因素，从卫星和航空图像中提取的道路网络通常不准确和不完整，三维点云上的特征提取还面临遮挡和点密度变化问题，这会导致不准确和不完整的道路提取。在提取道路或道路边界时，使用单一数据源的局限性显而易见。因此，研究人员一直在利用多源数据来提取和完成道路或道路边界，基于传感器融合方法的实例：BoundaryNet
图12：BoundaryNet结构：1，使用基于路缘的方法从原始点云提取道路边界。2、通过应用U-shaped编码器-解码器模型和基于CNN的完成模型完成道路边界。3、使用D-LinkNet模型从卫星图像中提取道路中心线。4、使用cDCGAN模型细化道路边界。5、基于提取的道路边界进行道路几何计算
4） 其他方法
也有不同的方法来提取道路网络。比如从相机图像中提取道路，而不是从航空图像中提取，前者根据摄像机图像进行三维重建，后者设计了完全卷积网络（FCN）对道路进行检测和分类，这两种方法都可以应用于小比例尺高精地图，但由于数据采集的巨大工作量和时间消耗，无法应用于大比例尺或城市比例尺高清地图。道路提取可以通过不同的数据源完成，包括相机图像、卫星和航空图像、激光雷达点云和GPS轨迹，卫星和航空图像可以覆盖大比例尺地图，使城市道路网络的道路提取高效。然而，从卫星和航空图像中提取的道路网络不包含深度或高程信息，从航空图像中提取道路的性能在很大程度上取决于图像的质量。照明条件差、路边建筑造成的遮挡以及各种地形因素等因素都会降低提取性能。相比之下，从三维点云中提取道路具有更多的几何信息和较高的精度，但它也面临遮挡问题，导致道路提取不完整，点的密度变化问题也会导致道路提取不准确，然后引入了传感器融合方法，通过融合不同的数据源（如航空图像、GPS数据、相机图像和激光雷达点云），进一步提高道路提取性能，传感器融合方法优于使用单一数据源的方法，在道路提取方面取得了显著的效果，表六总结了三种方法的比较。
B
道路标记线提取
道路标记线/路面标线是混凝土和沥青路面上的标志，它们通常涂有高反射材料，使其对人类视觉和自动驾驶车辆的传感器很容易被感知，道路标线是高精地图上的基本特征，为车辆自身定位提供有关交通方向、转弯车道、可行驶和不可行驶车道、人行横道等的信息。与道路提取方法类似，也可以使用2D图像或3D点云进行道路标记提取。
1） 基于二维图像的道路标记线提取
传统的二维图像上道路标记线提取是通过图像处理和计算机视觉实现的，首先对包含道路标记的图像进行去噪和增强，以使道路标记尽可能的清晰明显，并突出目标和背景区域之间的对比度，然后，使用图像处理和计算机视觉方法提取目标道路标记，例如基于边缘的检测（例如Roberts、Sobel、Prewitt、Log和Canny）、阈值分割（例如Otsu方法和迭代方法）、k均值聚类和区域增长法。传统方法在从路面或混凝土道路中提取道路标记线方面取得了显著的效果，然而，没有正确识别不同道路标记线对于完成车辆自身定位不够有效的，随着CNN的引入和快速发展，涉及CNN的方法已被广泛开发并用于检测和识别道路标线，二维图像上的道路标记提取和识别通常采用两种不同的方法。一种是利用车载摄像头捕捉的前视图像，二是从航空图像中提取道路标线，示例如图13所示：
图13 前视图图像上的道路标记与航空图像上的道路标记
a） 基于前视图像的道路标线提取
前视图图像由于其经济高效和方便，已被广泛用于道路标记提取。各种方法的数据对比如下表
b） 航空图像中道路标线的提取
卫星和航空图像不仅可以用于道路网络提取，还可以用于道路标记提取。对应方法的总结如下表
2） 基于三维点云的道路标线提取
三维点云上的道路标线提取通常采用两种不同的方法，即bottom-up 方法和 top-down 方法。bottom-up方法通过区分道路标记点云和背景点云，直接提取道路标记。相反，top-down方法使用CNN检测预定义的几何模型，并基于检测重建道路标线。
a) Bottom-up方法
Bottom-up的方法使用深度学习算法，在目标检测和分割的基础上直接从原始三维点云中提取道路标记，阈值相关方法及其扩展，包括多阈值和多阈值与几何特征滤波相结合，广泛用于道路标线提取。
b) Top-down方法
Top-down方法使用现有的目标检测算法来检测和定位道路标记几何模型，基于检测和定位，在三维点云上重建道路标线。Top-down方法可以直接从MLS点云中提取道路标线，加快道路标线提取进度，但对不完善的原始数据敏感。
图14 Top-down方法：使用能量函数和候选重新排序策略的道路标线提取方法
C、 杆状对象提取
在高精地图中，杆状物体（如红绿灯、交通标志、路灯、树木和电话线杆）对道路环境至关重要，它们可以帮助车辆定位（不同于其他道路设施的形状）和运动规划（交通灯信号提供交通流条件），杆状物体提取通常通过MLS 3D点云的分割和分类来完成。总之，高精地图中的杆状物体由于其特殊形状而成为定位的重要特征，杆状物体提取主要在三维点云上进行，因此提取的性能也取决于点云的质量，因此，需要进一步研究如何在不完全数据上提高杆状物目标提取性能。
总结
在这篇综述中，分析了最近用于自动驾驶的高精地图生成技术，将高精地图的基本结构概括为三个层次：道路模式，车道线模式，定位模式。
文章将分成三个部分：
（1）比较用于生成高精地图的数据采集，介绍三维点云生成技术。
（2）高精地图的特征提取方法，包括道路网络、道路标记线和杆状物体，并讨论了这些方法的局限性。
（3）介绍支持高精地图的框架，包括Lanelet2、OpenDRIVE和Apollo，还提供了一些用于在三个框架之间转换地图格式的有用工具。(待更新)