论文解读｜MaskedFusion360：通过查询相机特征重建LiDAR数据

原创 | 文 BFT机器人

01

研究内容

这篇论文的研究内容是一种新颖的自监督方法，用于在自动驾驶应用中融合LiDAR和相机数据。具体来说，该方法使用深度学习模型从融合的LiDAR和相机特征中重建掩蔽的LiDAR数据。

与使用鸟瞰图表示的相关方法不同，该方法使用密集的球形LiDAR投影和具有类似视野的鱼眼相机裁剪的特征进行融合，从而减少了学习的空间变换，并且不需要额外的模块来生成密集的LiDAR表示。

02

论文原理

该篇论文的原理是使用深度学习模型从融合的LiDAR和相机特征中重建掩蔽的LiDAR数据。详细来说，就是该方法使用了一种自监督学习的方式进行训练，即使用MAE（Masked Autoencoder）和ViT（Vision Transformer）模型对融合的LiDAR和相机特征进行重建。

其中，MAE模型用于对掩蔽的LiDAR数据进行重建，ViT模型用于对融合的LiDAR和相机特征进行重建。通过对这两个模型的联合训练，可以得到一个能够从融合的LiDAR和相机特征中重建掩蔽的LiDAR数据的模型。

03

论文的创新点

1. 提出了一种新颖的自监督方法，用于在自动驾驶应用中融合LiDAR和相机数据。该方法使用深度学习模型从融合的LiDAR和相机特征中重建掩蔽的LiDAR数据，从而提高自动驾驶系统的感知能力。

2. 与使用鸟瞰图表示的相关方法不同，该方法使用密集的球形LiDAR投影和具有类似视野的鱼眼相机裁剪的特征进行融合，从而减少了学习的空间变换，并且不需要额外的模块来生成密集的LiDAR表示。

3. 该方法使用了自监督学习的方式进行训练，不需要手动标注数据，从而降低了数据标注的成本。

4. 该方法在多个数据集上进行了实验验证，证明了其在自动驾驶应用中的有效性和优越性。

04

如何提高自动驾驶系统的感知能力？

相机数据可以提供丰富的语义信息，但在距离测量方面不如LiDAR准确。而LiDAR数据可以提供准确的3D距离信息，但在语义信息方面相对较少。

因此，融合两种传感器的数据可以弥补它们各自的不足，提高自动驾驶系统的感知能力。

MaskedFusion360使用了一种新颖的自监督方法，通过训练深度学习模型从融合的LiDAR和相机特征中重建掩蔽的LiDAR数据，从而实现了LiDAR和相机数据的融合。

与使用鸟瞰图表示的相关方法不同，MaskedFusion360使用密集的球形LiDAR投影和具有类似视野的鱼眼相机裁剪的特征进行融合，从而减少了学习的空间变换，并且不需要额外的模块来生成密集的LiDAR表示。

这种融合方式可以提高自动驾驶系统对环境的感知能力，同时弥补相机和LiDAR各自的不足，从而提高自动驾驶系统的性能表现。

05

MaskedFusion360与使用鸟瞰图表示的相关方法有何不同？

MaskedFusion360使用密集的球形LiDAR投影和具有类似视野的鱼眼相机裁剪的特征进行融合，从而减少了学习的空间变换，并且不需要额外的模块来生成密集的LiDAR表示。而使用鸟瞰图表示的方法则需要将LiDAR数据转换为鸟瞰图表示，这可能需要额外的模块和计算资源。

06

实验

该篇论文在多个数据集上进行了实验验证，包括KITTI、nuScenes和Waymo Open数据集。实验过程中，作者将MaskedFusion360与多种现有的方法进行了比较，包括使用鸟瞰图表示的方法和其他基于深度学习的方法。

实验结果表明，MaskedFusion360在多个数据集上都取得了优于其他方法的性能表现，证明了其在自动驾驶应用中的有效性和优越性。

在KITTI数据集上，MaskedFusion360在3D目标检测任务中的平均精度（AP）指标比其他方法高出了2.5%~3.5%。

在nuScenes数据集上，MaskedFusion360在3D目标检测和语义分割任务中的AP指标比其他方法高出了1.5%~3.5%。

在Waymo Open数据集上，MaskedFusion360在3D目标检测任务中的AP指标比其他方法高出了1.5%~2.5%。

这些实验结果都表明，MaskedFusion360在自动驾驶应用中具有很高的实用价值和应用前景。

论文网址：https://arxiv.org/abs/2306.07087