【传感器融合】开源 | 恶劣天气（大雾）中的深度多模态传感器融合

论文地址： http://arxiv.org/pdf/1902.08913v3.pdf

来源： Mercedes-Benz AG，Ulm University

论文名称：Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather

原文作者：Mario Bijelic

内容提要

多模态传感器流(如摄像机、激光雷达和雷达测量)的融合在自动驾驶汽车的目标检测中发挥着关键作用，自动驾驶汽车的决策基于这些输入。虽然现有的方法在良好的环境条件下利用冗余信息，但它们在不利的天气下失败，因为感知流可能被不对称地扭曲。这些罕见的边缘场景不在可用的数据集中表示，现有的融合架构也不是为处理它们而设计的。为了解决这一挑战，我们提出了一种新型的多模式数据集，该数据集采集于北欧10000多公里的驾驶里程中。尽管该数据集是第一个恶劣天气条件下的大型多模式数据集，具有10万标签，用于激光雷达、相机、雷达和门控近红外传感器，但由于极端天气非常罕见，它不利于训练。为此，我们提出了一种深度融合网络，用于鲁棒融合，无需大量标注训练数据，覆盖所有非对称失真。与提议级融合不同，我们提出了一个单次模型，该模型在测量熵的驱动下自适应融合特征。我们在广泛的验证数据集上验证了提出的方法，训练干净的数据。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有。

分享最新的CVPR、ECCV、ICCV、IROS等人工智能论文，关注深度学习、自动驾驶领域。