针对环视摄像头的车道检测和估计
文章：Lane Detection and Estimation from Surround View Camera Sensing Systems
作者：Ting Yuan， Wenqi Cao， Shuqi Zhang， Kaipei Yang
编辑：点云PCL
摘要
自动驾驶为车辆环境感知系统带来独特的挑战，我们强烈希望能够利用现有的车载驾驶辅助传感器，在无硬件更改的情况下实现无人驾驶性能。当前产品级别的车辆环视摄像头模块（简称SVS）被用作低自动化应用的全景视图辅助工具。通过适当的统计分析，多个单目摄像头的信息可以在无需显著硬件更改的情况下对更高级别的车辆智能性提供很大帮助。本研究专注于仅使用SVS系统进行车道检测和估计。主要困难在于SVS的单目摄像头是非合作的，并且本质上是一种量角器；这会导致对物体深度信息的大量不确定性和不完整的车道观测。我们通过多阶段方式处理高度扭曲的数据。首先利用神经网络分类器产生标记的与车道相关的对象。车道标记/边缘点云经过截断的高斯随机场模型进行空间过滤，并通过一个时态过滤的褪色记忆模型进行时间过滤。然后，我们提出了多项式拟合方案，并通过拟合误差的统计分析揭示了良好的车道和自车方向线索。在一个停车场的实际研究中，展示了在高度自动化应用中具有重要实际意义的良好车道检测和估计性能。
主要贡献
全景视图摄像头系统（简称SVS）是广泛使用的ADAS模块。通过几何对齐和复合合成，它提供了车辆周围环境的全景视图，并利用预定义的参考线用于驾驶辅助目的。如图1所示，由于其类似量角器的特性，摄像头图像如果投影到地面坐标将不可避免地导致明显失真。大的深度不确定性可能导致在车道检测和估计方面极大的困难。为了克服这种缺点，可以使用协作式的单目摄像机构建立立体视觉系统或使用LiCam（激光雷达+摄像机）将3D点信息整合到单目摄像机图像中，从而创建超像素表示。然而，这些解决方案需要额外的硬件/传感器配置。
图1：图像空间与地平面对应
在本研究中，我们旨在通过使用现有的产品级SVS感知系统最小化硬件更改来实现令人满意的AD性能。我们以多阶段方式进行基于图像的地面坐标车道检测和估计。首先基于神经网络分类器处理原始图像，产生分段的像素级图像语义。然后将被标记为车道标记/边缘的语义数据选择并投影到2D地面坐标中，这由网格表示法量化。进一步应用空间滤波器和时间滤波器进行异常值和平滑处理。通过对滤波数据进行自适应多项式拟合和对拟合误差进行适当的统计分析，我们揭示了处理后的语义数据包含有关车道形状和自车方向的丰富信息。在停车场场景中，我们展示了具有重要实际可行性的车道检测和估计性能。主要贡献在以下几个方面：
i）数据处理在地平面进行（而不是在图像空间），可以自然地集成到自动驾驶应用中；
ii）不需要作为先验信息的地图；
iii）我们专注于统计推断，同时对每个处理阶段的数据的真值统计特性进行细致研究。
内容概述
全景摄像头系统
汽车环视系统（SVS）通过提供车辆周围360度的俯视图，协助驾驶员进行停车。将车辆周围环境的综合视图实时合成和重建，作为一种视觉辅助工具。我们将从感知系统中提取更智能的信息，图2显示了从SVS原始图像到地平面语义点的工作流程。
图2：SVS原始图像标签和地面映射关系
在场景标签化阶段，基于一个在常见道路对象的专有数据集上训练的GoogLeNet的预训练模型进行语义分割，例如车辆、车道标线和路缘。这产生了对象的像素级标签。在边界提取阶段，选择了对象的边缘像素并将相关数据投影到地平面（根据一个经验性的变换矩阵）。我们可以通过Douglas-Peucker算法形成由一系列标记的连接点组成的多边形线。图3显示了所谓的SVS语义轮廓，这在从图像空间到地平面的坐标变换中高度扭曲：边缘相关的数据极不确定，任何标签错误都可能导致灾难性的结果，这几乎无法直接提供对场景理解的线索。
图3：SVS语义轮廓（白色：车道标线；品红色：人行道；灰色：障碍物）
车道识别与检测
我们必须适当量化SVS轮廓的不确定性，以便进行统计分析。为此使用基于网格的模糊逻辑方案简化数据几何表示，然后使用空间滤波器和时间滤波器进行离群值处理和平滑处理。
A. 网格表示
仅使用标记为车道标线的SVS轮廓数据。如图4(a)所示，相应的SVS点云具有两个显著的统计特性：
i) 根据几何形状的非均匀不确定性，
ii) 不确定性无法用任何已知的概率密度函数进行量化。因此，我们进行扫描线多边形填充，如图4(b)所示，以消除可能的不均匀性，以便进行不确定性量化。
图4：扫描线多边形填充
量化是基于经典的网格映射过程，使用逆测量模型。相应的现有证据是通过二值贝叶斯滤波器（BBF）或Dempster-Shafer模糊逻辑获得的，基于在一个小的时间窗口内累积的数据。图5显示了灰度表示的现有概率结果。
图5：基于网格填充的多边形（在一个小时间窗口内）
B.时间和空间滤波
现在可以重新考虑非均匀的不确定性，这是基于空间几何重要性和数据的最新性进行补偿的。图6说明了使用截断的高斯随机场模型进行空间过滤和使用指数衰减模型进行时间过滤。
图6: SVS填充多边形的空间-时间过滤
空间过滤是针对不同车辆方向（左、右、前和后）独立进行的。我们将x_l定义为到达车辆预期最近车道边缘的距离。通过移动x_l值，我们可以得到不同处理的SVS填充多边形{Ci(k)}，对于每个处理过的填充多边形，我们进行框拟合。最佳的x_l是在拟合框中面积最小的值。时间过滤非常直观，使用指数系数作为数据序列上的衰减内存。时间数据处理在很大程度上减轻了偶尔的神经网络错误标记带来的错误。图7显示了经过空间和时间过滤后的结果。可以看到可以提取更深层次的信息以进行良好的车道估计。
图7: 空间和时间过滤的结果
停车场中车道线估计
在网格表示和空间-时间过滤之后，通过对过滤后的数据进行自适应阶多项式拟合来实现车道估计。可以总结为
1). 拟合阶数表示道路的曲率：通过与近似测量标准差 R˜ 的卡方分布进行拟合优度检验。图8显示了一阶拟合和二阶拟合的结果。
图8: 通过多项式拟合进行车道估计
2). 运行时拟合误差标准差可以指示车道宽度：带有 2 σf 的标准差（在高斯假设下）可以被视为合理的车道宽度估计。
3). 左右侧运行时拟合误差标准差的差异可以指示车辆的转向方向：当车辆转弯时，一侧的图像失真将大于另一侧，因此运行时拟合误差标准差的差异。类似地，如果比较前后，可以指示行驶方向。
4). 可以从最佳多项式拟合中实现车道预测，图9显示了短时预测的性能。
图 9: 在SVS数据缺失或不足的情况下进行车道预测（例如，在T型十字路口转弯）
总结
在这项研究中，我们旨在利用ADAS SVS感知系统通过仔细处理数据的统计特性实现AD性能。我们采用了多阶段数据处理方法来处理高度扭曲的SVS数据。我们首先使用神经网络进行逐像素分割和标记。然后，我们采用基于网格的模糊逻辑，使SVS轮廓的非平稳几何不确定性变得均匀，并简化相应的量化。我们进一步设计了一个空间滤波器和一个时间滤波器来重新考虑不均匀性，减轻数据标记错误和深度不确定性。在这些处理之后，我们使用了一个自适应的多项式拟合方案，对小时窗口内的过滤数据进行处理。对拟合误差的属性进行的统计分析表明：i）我们可以在位置和形状上实现良好的车道估计；ii）我们可以实时粗略估计自车方向；iii）即使在数据不完整的情况下，也可以进行良好的车道预测。