基于Sim2Real的鸟瞰图语义分割方法

文章： A Sim2Real Deep Learning Approach for the Transformation of Images from Multiple Vehicle-Mounted Cameras to a Semantically Segmented Image in Bird’s Eye View

作者： Lennart Reiher1 and Bastian Lampe1 , Lutz Eckstein

编辑：点云PCL

代码：https://github.com/ika-rwth-aachen/Cam2BEV.git

摘要

精确的环境感知对于自动驾驶至关重要，在使用单目摄像头时，环境中元素的距离估计是一个主要挑战，当将摄像机视角转换为鸟瞰视图（BEV）时，可以更容易地估计距离。对于平坦表面，逆透视变换（IPM）可以准确地将图像转换为BEV。但是，这种转换会使三维物体发生畸变，从而难以估计它们相对于传感器的位置。本文描述了一种方法，通过使用来自多个车载摄像头的图像，获取校正后的360度BEV图像。校正后的BEV图像被分割成语义类别，并包括对遮挡区域的预测。神经网络方法不依赖于手动标记的数据，而是在合成数据集上进行训练，以便在真实世界数据上具有良好的泛化能力。通过使用语义分割图像作为输入，我们减小了模拟数据和真实世界数据之间的差距，并且能够展示我们的方法可以成功应用于现实场景。在仿真数据上进行的大量实验证明了我们的方法相对于IPM的优越性。源代码和数据集可在https://github.com/ika-rwth-aachen/Cam2BEV 上获得。

主要贡献

本文提出了一种方法用于获取不受IPM底层平坦性假设引入的错误影响的BEV图像。与试图使模拟图像看起来更加真实不同，我们通过计算具有语义分割的摄像头图像，从真实数据中去除了大部分不必要的纹理。我们展示了将这些图像用作我们算法的输入如何使我们能够仅在仿真数据上训练神经网络，同时仍能够成功执行对真实数据的所需任务。使用语义分割的输入，算法可以访问类别信息，因此能够将这些信息纳入到IPM生成的图像校正中。输出是输入场景的语义分割BEV。由于对象的形状得以保留，因此输出不仅可用于确定自由空间，还可用于定位动态对象。此外，语义分割的BEV图像包含未知区域的颜色编码，这些区域在原始摄像头图像中被遮挡。通过IPM获得的图像和期望的真实BEV图像在图1中显示出来。

图1. 将车载摄像头拍摄的四个语义分割图像应用于单应性矩阵，以将它们转换为BEV图像。我们的方法提出学习如何计算一个没有视觉畸变的准确BEV图像。

本文的主要贡献如下：

• 提出了一种能够将多个车载摄像头的图像转换为BEV中的语义分割图像方法。

• 设计并比较了两种不同神经网络架构的方法变体，其中一种是专为该任务设计的。

• 设计了这个过程以便训练我们基于神经网络的模型不需要对BEV图像进行手动标注。

• 展示了训练模型的实际应用。

内容概述

我们的方法基于卷积神经网络（CNN），这是一类常用于图像分析的深度神经网络。大多数流行的CNN只处理一个输入图像，为了融合车辆上安装的多个摄像头拍摄的图像，单输入网络可以将多个图像沿它们的通道维度连接在一起作为输入。然而，对于手头的任务来说，这会导致输入图像和输出图像之间存在空间不一致性。卷积层是局部操作的，即输入的特定部分被映射到输出的大致相同部分。然而，针对所提出的问题的端到端学习方法需要能够处理来自多个视点的图像。这表明需要额外的机制。逆透视变换（IPM）确实引入了误差，但这种技术能够生成至少类似于地面真实BEV图像的图像。由于这种相似性，将IPM作为一种机制以提供更好的输入和输出图像之间的空间一致性似乎是合理的。

处理遮挡问题

在图像转换任务中，由于交通参与者和静态障碍物可能会遮挡环境的部分部分，这会导致在BEV图像中对这些区域的预测几乎不可能。为了解决这个问题，作者引入了一种额外的语义类别，用于表示在摄像机视角中被遮挡的BEV区域。这个类别在预处理步骤中添加到地面真实标签图像中。对于每个车载摄像头，从其安装位置到语义分割的地面真实BEV图像的边缘投射虚拟射线。这些射线只投射到特定摄像机视场内的边缘像素上。然后，处理沿着这些射线的所有像素，以确定它们的遮挡状态，根据以下规则：

* 一些语义类别始终会阻挡视线（例如建筑物、卡车）；

* 一些语义类别永远不会阻挡视线（例如道路）；

* 汽车会阻挡视线，但在它们后面的更高物体上除外（例如卡车、公共汽车）；

* 部分遮挡的物体仍然完全可见；

* 只有在所有摄像机视角中都被遮挡的物体才被标记为遮挡。

经过这些规则修改的地面真实BEV图像在图2中展示出来。这个方法旨在解决由于遮挡导致的信息不完整问题。

图2. 原始的真实图像上覆盖了包括遮挡类别（灰色阴影）的修改标签。汽车（蓝色）和公交车（深青色）遮挡了它们后面的地面。停放的乘用车后面的建筑物仍然可见，而公交车还遮挡了视野左上角的建筑物。尽管停放的车辆部分遮挡了彼此，但它们仍然完全可见。

投影预处理

为了正确应用IPM，需要确定正确的单应性矩阵，其中包括内外参，在方法的第一个变种中，作为预处理步骤，将IPM应用于车载摄像机的所有图像。这个变换设置为捕捉与地面真实BEV图像相同的视场。由于这个区域只被所有摄像机图像的并集覆盖，因此首先将它们分别通过IPM进行变换，然后合并成一张单一的图像，称为单应性图像。重叠区域中的像素，即从两个摄像机中可见的区域，会从两个变换后的图像中任意选择一个。这个预处理步骤有助于确保输入和输出图像之间的空间一致性。

两种不同的神经网络架构

为了解决将多个车载摄像头的图像转换成BEV图像的问题，这两种变种的目标是在输入和输出之间建立空间一致性，以便网络可以纠正由IPM引入的错误。

Variation 1: Single-Input Model：第一种变种采用了单输入模型，首先对图像进行了投影处理，以部分填补摄像机视图和BEV之间的空间差距。然后，使用现有的卷积神经网络（CNN）体系结构（DeepLabv3+）来处理图像，以校正IPM引入的错误。

Variation 2: Multi-Input Model：第二种变种采用了多输入模型，它直接使用来自车载摄像头的非变换图像作为输入，并在网络内部融合了项目变换以处理空间不一致性。这个模型扩展了U-Net架构，为每个输入图像创建一个编码器路径，并使用Spatial Transformer单元进行投影变换，然后将它们与解码器路径连接以生成输出。

这两种变种的目标都是通过神经网络来纠正IPM引入的图像变换错误，以获得更准确的BEV图像。

图3. uNetXST体系结构具有每个输入图像的单独编码器路径（绿色路径）在每个尺度级别的跳跃连接的一部分（紫色路径）中，特征图进行投影变换，与其他输入流连接，进行卷积，最后与解码器路径的上采样输出连接。这个示意图显示了一个只包含两个池化和两个上采样层的网络，实际训练的网络包含四个。

图4. ϑ块类似于一个空间变换单元。前面的卷积层（橙色网格层）的输入特征图通过通过IPM获取的单应性矩阵进行投影变换。对于不同摄像机的不同输入流，变换是不同的。通过这种方式建立了空间一致性，因为变换后的特征图都捕捉到与地面真实BEV相同的视野。然后将变换后的特征图连接成一个单一的特征图

实验

我们将比较我们的各种方法变体的性能，并讨论与传统IPM技术相比的整体改进。通过IPM获得的标准单应性图像被用作我们评估的基准。提供了两个单输入模型DeepLab Xception和DeepLab MobileNetV2以及多输入模型uNetXST的结果。我们的模型与基准模型的性能报告如表I所示。

为了进一步分析按类别进行的性能，在表格II中呈现了相应的类别IoU分数。

通过分析图5中的示例，可以定性比较我们的两种方法变体与基准方法之间的差异。

图5. 来自验证集的模拟数据的示例结果。

用于两个模型的固定IPM转换在图6所示的场景中可能会被误校准。测量车辆动态并将动态变换更改纳入网络推断中可能仍然可以改善在实际场景中的结果。

图6. 实际应用中的示例结果。

总结

我们提出了一种方法，能够将多个车载摄像头的图像转换成鸟瞰视图中的语义分割图像。在这个过程中，通过消除逆透视映射背后的错误的平面假设而引起的误差。使用仿真数据集和将摄像头图像的输入抽象为语义分割表示，可以在无需手动标记BEV图像的情况下应用于真实世界数据。此外，我们的方法能够准确预测BEV图像中的遮挡区域。我们设计了神经网络uNetXST，该网络处理多个输入并采用网络内部的变换。这样，网络能够在任务上胜过流行的架构，如DeepLab Xception。使用我们的方法训练的所有模型在定量和定性上都优于仅应用逆透视变换获得的结果。进一步的研究受到了所提方法对通过摄像头的环境感知的潜在贡献的激发。一个有前景的想法是将更多输入，如深度信息纳入到方法中。深度信息可以从立体摄像头计算，通过用于单目摄像头深度估计的方法估计，或者从传感器（如LiDAR）获取。