【图像分割应用】设备自动化（一）——自动驾驶

这是专栏《图像分割应用》的第5篇文章，本专栏主要介绍图像分割在各个领域的应用、难点、技术要求等常见问题。

这是本专栏的第二个板块设备自动化的第1篇文章。通勤是我们日常生活的一个重要组成部分，而其中包括的车辆驾驶问题一直是人工智能的热门话题。本文我们就谈谈自动驾驶中的图像分割应用。

作者&编辑 | 孙叔桥

1 介绍

相对于机器人视觉而言，自动驾驶问题所需要输出的决策相对简单——速度和转角。当前，基于视觉的自动驾驶算法大致有如下图所示的三种模式：间接感知（MP）、行为反射（BR）和直接感知（DP）。

常见基于视觉的自动驾驶模式（图片来源于参考文献1）

间接感知方法通常会利用多种与驾驶相关的目标来判断车辆所处的环境，比如指示线、路标、路灯、其他车辆、行人等统一的路况判断依据。基于这种方法的自动驾驶系统会在作出判断之前，考虑所有捕获到的信息，也就意味着所有的细节都会被考虑进去。尽管这样做看起来面面俱到，但是对于算法的要求很高，否则各种小细节的引入会增加决策的难度。

行为反射方法直接将传感器获取到的信息映射成驾驶行为。在训练过程中，自动驾驶系统记录沿途的图像和司机的操作转角作为训练数据。这种方法虽然简洁，但是要适应复杂的路况和因人而异的驾驶习惯，难度还是很大的。

直接感知方法是介于前两种方法之间，既非理解整个场景，也非完全不加分析地直接映射。这种方法只学习场景内的重要路况，比如车辆相对于路面的角度、车辆到指示线的距离，以及车辆距离当前车道内和相邻车道内其他车辆的距离。

直接感知方法示意图（图片来源于参考文献1）

2 基于纯视觉图像分割的自动驾驶

基于图像分割方法实现自动驾驶的方式可以有很多。比如可以直接从图像入手，分析场景内所有或部分的语义信息，根据不同语义给出不同的反馈；也可以通过分割提取图像内的可解释信息，区分出可驾驶的路面和不可驾驶的路面，从而作出驾驶决策。

对基于纯视觉方法的自动驾驶分辨技术，图像分割的精度是决定自动驾驶效果的重要因素。为了提高图像分割的精度，除了有三AI（公众号）《图像分割模型》专栏中介绍的常用模型及改进方式外，还可以利用不同类别标注间的关系来全局约束分割结果。

如下图所示，CMSMR网络结构利用多标签共同学习、协同优化的方式，实现了高分辨率图像下的图像分割。

DMSMR网络结构（图片来源于参考文献2）

单条前向排序优化网络（图片来源于参考文献2）

除了车载设备获取的路面信息外，这种方式也可以利用到遥感图像上。如下图所示，实现遥感图像下的道路分割不仅有助于车辆的自动驾驶，也有助于道路规划、交通疏导等宏观规划问题的解决。

自动驾驶相关遥感图片下的图像分割（图片来源于参考文献2）

3 基于多传感器融合的自动驾驶

除了单纯利用车上的视觉系统外，也可以结合车上搭载的其他传感器，实现联合信息下的自动驾驶决策判断。

下图是结合雷达信息实现自动驾驶中道路分割的网络结构图。输入为RGB图像和激光雷达所获取的信息，经过特征提取和RFU模块融合，实现对道路的分割。

结合雷达的图像分割自动驾驶系统（图片来源于参考文献3）

下图为上图中橙色部分对应的RFU模块。

RFU模块（图片来源于参考文献3）

参考文献：

[1] C. Chen, A. Seffetc, A. Kornhauser, and J. Xiao. DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving[C]. 2015.

[2] M. Zhang, X. Hu, L. Zhao, Y. Lv, M. Luo, and S. Pang. Learning Dual Multi-Scale Manifold Ranking for Semantic Segmentation of High-Resolution Images[J]. 2017

[3] H. Liu, Y. Yao, Z. Sun, X. Li, K. Jia, and Z. Tang. Road Segmentation with Image-LiDAR Data Fusion[J]. 2019

总结

本文介绍了基于视觉系统的自动驾驶问题，并给出常见的三种模式。在此基础上，分析了应用于自动驾驶领域的一些图像分割方法和其对应的实验结果。从本文开始，《图像分割应用》专栏正式进入第二板块——设备自动化。我们下期见！