论文翻译：Deep Learning on Radar Centric 3D Object Detection

Abstract

即使许多现有的3D目标检测算法主要依赖于摄像头和LiDAR，但camera和LiDAR容易受到恶劣天气和光照条件的影响。radar能够抵抗这种情况。近期研究表明可以将深度神经网路应用于雷达数据。本论文提出一种基于深度学习的radar 3D 目标检测。据我们所知，我们是第一个展示基于深度学习的radar 3D 目标检测模型，该模型是在雷达的公共数据集上训练所得。为了克服缺乏雷达标记数据的问题，我们利用大量的LiDAR点云数据，将其转换为类似radar的点云数据和有效的雷达数据增强技术。

Introduction

3D 目标检测有着广泛的应用，比如在自动驾驶以及机器人技术中都是必不可少的。目标检测是在一个场景中识别并定位多目标的的一项任务。通常是通过分类得分来识别对象，然后根据bounding boxes 来进行定位。在自动驾驶领域，主要关注的是3D目标检测的准确性，鲁棒性以及实时性。因此，几乎所有自动驾驶汽车都配备了多种类型传感器，以确保安全。如：相机，LiDAR（激光检测和测距）和Radar（无线电检测和测距）。

目前，广泛用于3D 目标检测的视觉传感器是lidar 和Camera . 其中lidar 能够输出周围环境的点云信息。

2D目标检测算法能够处理大量变化的RGB图像。3D点云数据是无序，稀疏，并且在某些局部有明显特征，这给3D目标检测带来巨大挑战。此外，相机和激光雷达容易受到恶劣天气的影响，例如雨，雪，雾或灰尘和光照。

相反，radar 比LiDAR便宜并且能够抗恶劣天气，同时对光照变化不敏感，可以提供长时间的、精确的范围测量。 同时进能够利用多普勒效应进行相对径向速度测量 ，被广泛使用。此外，近来对radar的需求引入新一代高分辨率“成像”雷达，有望取代昂贵的lidars.

然而，与激光雷达相比，雷达探测器的研制更加困难。由于深度学习是一种大量数据驱动的方法，基于雷达的应用的最大瓶颈是可用的带有地面真实信息的可公开使用的数据。当前有nuScenes数据集，但数据信息不够丰富。Astyx HiRes2019数据集数量太少。尽管最近的文献表明，利用图像和点云数据的雷达-摄像机融合目标检测器在文献[11]的工作中具有一定的可靠性，但由于将深层神经网络应用于雷达数据的研究才刚刚开始，许多事情仍然是未知的。

据我们所知，文献[1]是第一个，也是目前唯一一个实现基于雷达的深度神经网络目标检测并取得可靠结果的。

但文献[1]仅限于公路汽车环境，如[8]、[10]，基于雷达的探测器尚未在公共汽车雷达数据集上进行评估。由于有些雷达传感器像激光雷达一样生成三维点云，因此可以应用类似的激光雷达网络。然而，这种天真的方法的问题是点云具有完全不同的属性。也就是说，雷达数据比激光雷达噪声大得多，精确度也低。因此，目前尚不清楚类似于激光雷达数据的网络结构是否适用于雷达数据。

我们的贡献如下：

1. 本文介绍了一种利用丰富的激光雷达点云数据的新方法，将其表示为类似雷达的点云数据。

2. 本文针对纯雷达学习问题提出了一种新的增强技术，提高了算法的收敛速度和性能。

3. 本文论证了雷达专用系统与各种最先进的点云目标检测网络的可行性。

METHODS

A. Dataset

验证的主要数据集是Astyx HIRES 2019的雷达数据集，该数据集包括546帧，每帧约1000-10000个点。对于训练，我们使用7:1.5:1.5的比率将数据集随机分成训练、验证和测试数据。为了进行验证，ground truth数据分为三类：简单、中等和困难。对于困难类型数据，将验证所有对象，而对于中等完全遮挡的对象则排除在外，而对于Easy，则仅完全可见的对象参与验证。

B. Pre-training on Auxiliary task

虽然使用的最大的具有地ground truth标签的数据集是nuScenes数据集，它包含近1.4M帧，训练点云不足500个，但是从头开始训练基于雷达的深层神经网络不可避免地会出现过拟合。为了减少过拟合问题，我们利用激光雷达数据集训练第一个神经网络，并将第一个神经网络的浅层作为第二个神经网络的特征检测器。然而，在Complex-YOLO网络上，利用KITTI LiDAR数据集对预先训练权重的Astyx雷达数据进行评估时，发现遮挡车辆、部分遮挡车辆和未遮挡车辆的AP分别为0.015%0.034%和1.447%，这表明激光雷达和雷达点云具有不同的性质。为了增强这种方法，我们对激光雷达点云进行变换，以便将其转换为类似雷达的点云。

C. Data Augmentations

此外，我们对点云和边界框标签使用了有效的数据扩充，如下所示：

上面的列表包括训练点云数据期间基本的数据增强方法，例如随机翻转、缩放因子从[0.95,1.05]均匀采样的全局缩放、通过从[−π/4、π/4]均匀采样的角度围绕垂直轴进行全局旋转以及其他新的方法[5]、[12]、[15]、[17]。

D. Networks

在网络方面，我们应用了目前最先进的只提取输入点云的三维物体检测网络的工作，它可以分为三种方法：利用成熟的二维检测框架，将点云投影到鸟瞰图中，或者将点云转换成规则的三维voxels，并直接学习从三维点云数据进行点云分类和分割。

Results

在评价方面，采用了平均精度（AP）作为三维目标检测的常用评价指标，并采用了0.5的三维阈值（IoU）。

[11]的工作在baseline模型中得到了（0.61，0.48，0.45）的平均精度（AP），使用Astyx雷达数据集，利用雷达相机融合检测汽车。在这里，我们根据对象的可见性/遮挡将数据集分为三个困难类别（简单、中等、困难）。

A. Complex-YOLO

对于鸟瞰图检测网络，我们开发了Complex-YOLO[2]，这是一种最先进的实时单级三维目标检测网络。对于车辆的检测，我们根据ground_truth分布在[−2,4]×[-70，70]×[-70，70]m处沿z×y×x轴裁剪点云，并使用共9个 prior box.

宽度：1.7米。长度：4.2米、3.85米、3.5米。

方位，0, 1.57, -1.57 (rad).

在训练过程中，使用随机梯度下降，动量为0.9，重量衰减为0.0005。训练包括220次迭代，批大小为64次，初始学习率为0.001。

尽管有少量的训练和试验数据，但在非遮挡对象上进行车辆检测的平均精度（AP）为0.75。

DISCUSSION

本文的主要问题是“雷达只能进行目标检测吗？“从对LiDAR数据进行预训练的网络所显示的糟糕评估来看，LiDAR和雷达点云的表示方式有很大的不同，将基于LiDAR的网络应用于雷达数据的方法可能会失败。

考虑到我们以前训练的小数据集，在雷达点云上训练得到的AP为0.75是一个不错的结果。 Complex YOLO 显示在KITTI数据集上训练的类别（易、中、难）的AP（85.89，77.40，77.33），该数据集包含的训练数据量几乎是我们训练数据量的20倍。此外，根据文献[10]的报告，雷达点云的稀疏度是Velodyne VLP-16（10hz，16束激光）的10倍左右，雷达能够很好地在深度神经网络中推广。

CONCLUSION AND FUTURE WORK

本文提出了一种雷达感知系统。据我们所知，我们是第一个演示了基于深度学习的目标检测模型，该模型只在公共雷达数据集上运行。我们提出了一种新的方法来处理缺乏注释的ground truth 雷达数据集。

在这篇论文之后，我们计划进一步扩展我们的工作，评估更多不同的最先进的点云探测网络，并介绍将多普勒信息纳入网络以增强基于雷达的网络的方法。