【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

点云PCL免费知识星球，点云论文速读。

标题：AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot

作者：Tong Qin, Tongqing Chen, Yilun Chen, and Qing Su

星球ID：particle

欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。

前段时间在知乎看到该文章的作者，也是vins-mono的作者，在知乎平台上发表了对这项工作的论述，文章已经被IROS2020接受，文章已经公开，让人不禁感慨，被华为选中的大佬不一般啊，这里阅读这篇论文，膜拜一下，并分享给大家。如有错误，欢迎指出和交流。

●论文摘要

在自动代客泊车系统中车辆在狭窄且拥挤且没有GPS信号的停车场中进行导航，具备准确的定位能力是至关重要的。传统的基于视觉的方法由于在停车场中由于缺少纹理，以及重复的结构和场景的变化导致跟踪容易丢失，在这篇文章中，使用了鲁棒的语义特征来建立停车场的地图并在泊车时用语义信息来定位车辆。其中语义的特征包含了地面上的指路标志，停车线，以及减速带等，这些特征通常出来在停车场中。这些语义的特征与传统的特征相比，对视角和光照变化具有一定的稳定性。这里采用了四个全景的摄像头来增加感知范围，以惯导和轮速里程计作为辅助信息，生成了全局的视觉语义地图，这张地图用来定位可以达到厘米级别，文章中分析了该系统的准确性和召回率，并且与实际实验中的其他方法进行了比较，来证明该系统的实用性。

●主要贡献

文章在介绍中分析了自动驾驶需求量越来越大，但是由于，视觉跟踪上的挑战，定位精度上的要求以及各种传感器的成本等限制，以及针对停车场这种场景的特殊限制，文章提出了这种基于语义特征的定位方法，这种定位方法不仅能够针对停车场这种场景有很好的适配，并且语义特征是对视角和光照不敏感的等优势提出了基于语义特征的地图定位系统，这能够使得车辆在停车场中自动的导航。文章的贡献主要有：

（１）提出了一种在视觉slam框架中使用的新型语义特征。

（２）提出了一个完整的停车场内自动驾驶地图构建和定位系统。

（３）基于所提出的系统进行真实的自动泊车应用程序。

●论文图集

总体流程图：该系统从四个全方位车载摄像头、一个IMU和车轮编码器作为输入。在SLAM过程中，构建了具有语义特征的环境地图。基于此先验地图，可以达到厘米级的定位精度。

　AVP中常见的环视系统

根据SLAM的两个模块，建图与定位，建图模块根据环视系统的四个相机生成IPM俯视图，再根据四个相机的相互之间的关系拼接成（ａ）图，利用深度学习将包括车道，停车线引导线以及减速带等信息分割出来，再根据里程计的信息，将这些语义特征映射到全局的坐标系下，由于里程计的累计误差，这里使用了回环检测通过局部地图的匹配减少累计误差。第二部分是定位。与建图部分一样，从鸟瞰图像中提取语义特征。通过将语义特征与先前的构建出来的地图进行匹配来对车辆进行定位。最后，采用扩展卡尔曼滤波器（EKF）将视觉定位结果与里程计融合，保证了能够正在无纹理的停车场环境中，系统能够输出稳定的定位结果。

●内容简介

文章内容对该系统使用到的知识点都有一一的说明：

A 首先是IPM( Inverse Perspective Mapping )逆透视变换

B 语义特征提取：使用了CNN网络进行了语义特征的检测[1]， U-Net [2]进行分割。

C 局部地图的构建:根据之前图像IPM的变换关系，可以将这些语义信息映射到三维空间中，并且根据里程计信息，将这些语义特征不断的变换到全局坐标下。

D 回环检测为了解决里程计的漂移的问题，这里使用了语义特征的局部地图不断的ICP全局地图，不断的局部优化。

E：全局优化，优化的残差为：

F 定位:语义地图中的定位。如下图白色、红色和蓝色的圆点是地图上的停车线、减速带、指路标志。绿点是当前的特征。橙色线是估计的轨迹。通过将当前特征与地图匹配来定位车辆。停车位由停车位的角点和停车线拟合自动生成。

G 停车位的检测:由于停车线和停车位角点是从IPM图像中检测出来的，因此很容易自动检测停车位。角点用于预测停车点的位置。如果停车线与预测的停车位匹配良好，则该预测被认为是正确的。

●实验对比

在停车场中使用AVP-SLAM系统建立一张地图。然后利用该地图对到达目标停车点的车辆进行定位和导航。

●总结

论文提出了一个基于视觉的定位解决方案，利用强健的语义特征来辅助车辆在停车场中导航。车辆周围使用了四个摄像头。通过IPM（逆透视变换）将图像变换成鸟瞰图。然后神经网络检测语义视觉特征，包括车道、停车线、路标和减速带。基于这些特征构建了语义视觉地图。通过厘米级的语义特征匹配，可以在地图上对车辆进行定位。通过实验和实际的自主停车应用验证了该系统的有效性。AVP-SLAM实现了1.33%的定位误差和厘米级定位精度。由于所使用的语义特征的特殊性，提出的系统目前只适用于停车场。未来，我们将致力于开发一般语义特征，并将所提出的系统推广到更多的场景中。

参考文献

[1] J. Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. 3431–3440.

[2] O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” in International Conference on Medical image computing and computer-assisted intervention. Springer, 2015, pp. 234–241如果你对本文感兴趣，请点击“原文阅读”获取知识星球二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！