车道线检测方法的一些近期论文
作者丨黄浴@知乎
来源丨https://zhuanlan.zhihu.com/p/358716442
编辑丨3D视觉工坊
已发表：
关于车道线检测方法的论文介绍（https://zhuanlan.zhihu.com/p/362656301）
选最近一些车道线检测论文，都是基于深度学习方法，但考虑的角度不一样：检测、分割和后处理等。
1 “Ultra Fast Structure-aware Deep Lane Detection，arXiv 2004.11757，4，2020
代码上线：https://github.com/cfzd/Ultra-Fast-Lane-Detection
车道线检测任务看成是基于全局图像特征的行选择（row selection）分类问题。其中提出一个structural loss 明确建模结构信息，速度很快，300+ FPS。
如图显示如何选择行的问题：在每个row anchor水平选择。
设X是全局图像特征，f是分类器选择一行的车道线位置，即车道线预测定义为：
设T是位置的one-hot编码，则分类器的优化形式是：（LCE是cross entropy loss）
下图显示分割和行选择的区别：这种方法依赖的是整个图像的感受野，远远大于分割网络的有限感受野。
除了分类损失项，还有对location的建模。文中如此定义lane structural loss：它包括相似性和形状（直线）的两个loss函数项
其中
关于lane location
不过argmax操作是不能微分的，故此计算改成计算概率
这样lane location变成可微分的操作
最终的损失函数为：
整个模型架构如图所示：包括feature extractor，classification-based prediction和auxiliary segmentation task（只在训练时，聚合局部特征和全局上下文信息）等，group classification在row anchor执行。
实验结果如下：直观例子
2 “PolyLaneNet: Lane Estimation via Deep Polynomial Regression“，arXiv 2004.10924，4，2020
代码 上线：https://github.com/lucastabelini/PolyLaneNet
PolyLaneNet，采用deep polynomial regression，速度达到115FPS。
如图是其架构概览：
实验结果比较如下：
该方法的直观结果：
3 “End-to-End Lane Marker Detection via Row-wise Classification“，arXiv 2005.08630，5，2020
传统方法采取pixel prediction加post processing，而该方法是一种端到端的方式做direct lane marker vertex prediction，无需后处理。作者设计一种新的NN层，逐渐压缩水平组件，叫horizontal reduction modules (HRMs)。它实现端到端检测，其中位置基于argmax得到。这个模型叫E2E-LMD，直接预测lane marker vertex。如图是其框架显示：
E2E-LMD的架构图如下：
其加入连续horizontal reduction modules扩展普通的encoder-decoder architectures。第一步：构建编码器-解码器；第二步：逐渐压缩HRM的水平维度，无需改变垂直维度。最后一步：两个分支row-wise vertex location branch和vertex wise confidence branch，分类和置信度回归。
为提高检测性能，采用了Squeeze and Excitation (SE) block，实现注意机制。如图是加入SE前后的检测变化：
实验结果比较如下：
这是基于ERFNet主干网的定性检测结果：
4 “CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending“， arXiv 2007.12147，7，2020
华为论文，curve lanes检测很难，缺乏建模的长时上下文信息和带细节的弯曲轨迹。提出一个lane-sensitive architecture search framework，CurveLane-NAS，自动获取长时和短时曲线信息。包括三个部分：a) feature fusion search module，对multi-level hierarchy features找到较好的local and global context 融合 ; b) 弹性的backbone search module，开发带语义和潜力的 feature extractor; c) adaptive point blending module，搜一个multi-level post processing renfiement strategy，以此组合multi-scale head prediction。
华为的开源车道线数据集CurveLanes：大约150K images，90% 是弯曲车道线 (大概 135K images)，相比来说CULane Dataset (大约2.6K images) 和TuSimple Dataset ( 大约3.9K images)，如图是一些比较例子。
之前的PointLaneNet 和Line-CNN这两个方法，还是按照 proposal-based diagram 产生多个point anchor 或者 line proposals。CurveLane-NAS提出一个包括multi-level prediction heads 和 a multi-level feature fusion的搜索空间，包含了long-ranged coherent lane 信息和short-range curve 信息。
如图检测算法比较：(a) dense prediction based (SCNN), (b) proposal based (Line-CNN), (c)CurveLane-NAS。
NAS是网络结构参数的自动调优。先定义搜索空间，然后通过搜索策略找出网络结构，并进行评估，再以此反馈进行下一个迭代的搜索。搜索策略有基于强化学习的方法、基于进化算法的方法和基于梯度的方法等。基于进化算法，CurveLane-NAS设计了一个搜索空间和一个基于样本的多目标搜索算法，来检测曲线车道。
下图是NAS做车道线检测的流水线架构：前面提到的三个模块
如图示意的是Point Blending Search模块（取代NMS）：对每个预测头，预测每格的offsets和相应的scores；每个lane prediction 可以被offset和point anchors位置来恢复。
Adaptive score masking 允许在 multi-level prediction存在多个ROI。point blending 技术可以用准确的局部点取代一些高置信度anchor的预测点。而远端更细的curve shape则用local points修复。
实验结果比较如下：
直观比较图：
5 “Heatmap-based Vanishing Point boosts Lane Detection“，arXiv 2007.15602，7，2020
利用几何结构信息，vanishing point，提出一个多任务融合框架，基于ERFNet，图像分割模型，heatmap regression预测车道线的消失点VP。其示意图如下所示：
实验结果比较如下：
6 “LDNet: End-to-End Lane Detection Approach using a Dynamic Vision Sensor”，arXiv 2009.08020，9， 2020
车道线检测的挑战：光照变化、太阳强光、运动模糊等等。这里采用事件摄像头（event camera）的动态视觉传感器，提出Lane Detection using dynamic vision sensor (LDNet)。
如图看普通摄像头和事件摄像头的区别：
下图是LDNet的架构：
其中采用的空洞SPP：
还有attention模块结构：
下表给出实验结果比较：
7 “RONELD: Robust Neural Network Output Enhancement for Active Lane Detection“，arXiv 2010.09548， 11， 2020
主动车道（active lane）划定单个道路的空间。检测的挑战来自外界的光照和车道自身单调表观。本文提出的方法实际上是一种增强方法，即real-time robust neural network output enhancement for active lane detection (RONELD)。其利用深度学习模型得到的概率图，包括以下模块：自适应车道点检测、弯曲车道检测、车道重建和跟踪等，如图所示。
注：这里采用了两个模型SCNN和ENet-SAD做实验。
这里是一些增强结果的比较：两个数据集测试
8 “Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection“，arXiv 2010.12035，11，2020
LaneATT，和Line-CNN一样的，基于锚点的车道线检测方法，类似YOLO3和SSD。除了局部信息，也强调全局信息，比如遮挡、缺失或者弱显示等情况下的处理。该方法实时性强 （速度250FPS），在三个基准数据集测试过：TuSimple, CULane 和 LLAMAS。
其架构如图：除了锚点的特征池化（类似Fast R-CNN），还有attention机制的采用。
如下是结果比较：
9 “End-to-end Lane Shape Prediction with Transformers“，arXiv 2011.04233， 11，2020
无所不在的Transformers，很善于学习全局上下文，针对车道线这种细长结构，直接估计车道线形状模型，即lane shape model。
代码上线：https://github.com/liuruijin17/LSTR
cubic curve定义平坦路面的车道线
那么曲线投影到图像平面变成：光轴和路面平行
如果摄像头斜着，不与路面平行，则：
修正的曲线方程变成：
Hungarian fitting loss 在预测参数和真值车道线做bipartite matching，找到positives和negatives，很有效。
如图所示是主干架构：包括一个reduced transformer network, 几个feed-forward networks (FFNs) 做parameter predictions, 和Hungarian bipartite matching Loss。
给定输入图像I, 主干提取low-resolution feature，并扁平成 序列S；S和positional embedding Ep 输入编码器，输出表示序列Se；然后解码器产生输出序列Sd，其中输入查询序列 Sq 和一个学习的positional embedding ELL，然后计算其与Se、Ep的交互，得到特征；最后多个FFNs 直接预测输出参数。
如图是编码器和解码器结构：
实验结果比较如下表：
下图是TuSimple数据集的比较：
下面是在FVL数据集的transfer结果：没有额外训练
10 “End-to-End Deep Learning of Lane Detection and Path Prediction for Real-Time Autonomous Driving”，arXiv 2102.04738，2，2021
提出three-task convolutional neural network (3TCNN)，包括一个bounding box的regression分支、一个Hu moments的regression分支和一个classification分支。其中Hu moments回归能做车道线定位和道路引导。另外，本文特别点是一个lateral offset-path prediction （PP）模块，能够预测驾驶道路，包括车道中心线动态估计和道路曲率估计。
如图是其实现在TORCS的结构：
3TCNN的模型架构如下：
实验结果比较3TCNN和2TCNN（没有Hu moments分支）如下：
而3TCNN-PP集成的结果在TORCS的模拟环境测试性能如下：
11 “Robust Lane Detection via Expanded Self Attention“，arXiv 2102.07037，2，2021
本文是采用self attention机制，可用于编码器-解码器结构的NN模型，主要就是提取全局信息，在三个基准数据测试TuSimple、CULane和BDD100K。其利用车道线的简单结构，预测车道线在图像沿着水平和垂直方向的可信度，分为HESA (Horizontal Expanded Self Attention) 和 VESA(Vertical Expanded Self Attention)。该方法类似SAD，但提出了基于confidence的遮挡解决方法。
ESA结构如下：编码器和HESA/VESA
ESA编码器-解码器的NN模型结构如下：
一些实验结果比较如下：三个测试数据集
本文仅做学术分享，如有侵权，请联系删文。