专栏首页YZh学习记录论文翻译:Deep Learning on Radar Centric 3D Object Detection
原创

论文翻译:Deep Learning on Radar Centric 3D Object Detection

Abstract

即使许多现有的3D目标检测算法主要依赖于摄像头和LiDAR,但camera和LiDAR容易受到恶劣天气和光照条件的影响。radar能够抵抗这种情况。近期研究表明可以将深度神经网路应用于雷达数据。本论文提出一种基于深度学习的radar 3D 目标检测。据我们所知,我们是第一个展示基于深度学习的radar 3D 目标检测模型,该模型是在雷达的公共数据集上训练所得。为了克服缺乏雷达标记数据的问题,我们利用大量的LiDAR点云数据,将其转换为类似radar的点云数据和有效的雷达数据增强技术。

Introduction

3D 目标检测有着广泛的应用,比如在自动驾驶以及机器人技术中都是必不可少的。目标检测是在一个场景中识别并定位多目标的的一项任务。通常是通过分类得分来识别对象,然后根据bounding boxes 来进行定位。在自动驾驶领域,主要关注的是3D目标检测的准确性,鲁棒性以及实时性。因此,几乎所有自动驾驶汽车都配备了多种类型传感器,以确保安全。如:相机,LiDAR(激光检测和测距)和Radar(无线电检测和测距)。

目前,广泛用于3D 目标检测的视觉传感器是lidar 和Camera . 其中lidar 能够输出周围环境的点云信息。

2D目标检测算法能够处理大量变化的RGB图像。3D点云数据是无序,稀疏,并且在某些局部有明显特征,这给3D目标检测带来巨大挑战。此外,相机和激光雷达容易受到恶劣天气的影响,例如雨,雪,雾或灰尘和光照。

相反,radar 比LiDAR便宜并且能够抗恶劣天气,同时对光照变化不敏感,可以提供长时间的、精确的范围测量。 同时进能够利用多普勒效应进行相对径向速度测量 ,被广泛使用。此外,近来对radar的需求引入新一代高分辨率“成像”雷达,有望取代昂贵的lidars.

然而,与激光雷达相比,雷达探测器的研制更加困难。由于深度学习是一种大量数据驱动的方法,基于雷达的应用的最大瓶颈是可用的带有地面真实信息的可公开使用的数据。当前有nuScenes数据集,但数据信息不够丰富。Astyx HiRes2019数据集数量太少。尽管最近的文献表明,利用图像和点云数据的雷达-摄像机融合目标检测器在文献[11]的工作中具有一定的可靠性,但由于将深层神经网络应用于雷达数据的研究才刚刚开始,许多事情仍然是未知的。

据我们所知,文献[1]是第一个,也是目前唯一一个实现基于雷达的深度神经网络目标检测并取得可靠结果的。

但文献[1]仅限于公路汽车环境,如[8]、[10],基于雷达的探测器尚未在公共汽车雷达数据集上进行评估。由于有些雷达传感器像激光雷达一样生成三维点云,因此可以应用类似的激光雷达网络。然而,这种天真的方法的问题是点云具有完全不同的属性。也就是说,雷达数据比激光雷达噪声大得多,精确度也低。因此,目前尚不清楚类似于激光雷达数据的网络结构是否适用于雷达数据。

我们的贡献如下:

1. 本文介绍了一种利用丰富的激光雷达点云数据的新方法,将其表示为类似雷达的点云数据。

2. 本文针对纯雷达学习问题提出了一种新的增强技术,提高了算法的收敛速度和性能。

3. 本文论证了雷达专用系统与各种最先进的点云目标检测网络的可行性。

METHODS

A. Dataset

验证的主要数据集是Astyx HIRES 2019的雷达数据集,该数据集包括546帧,每帧约1000-10000个点。对于训练,我们使用7:1.5:1.5的比率将数据集随机分成训练、验证和测试数据。为了进行验证,ground truth数据分为三类:简单、中等和困难。对于困难类型数据,将验证所有对象,而对于中等完全遮挡的对象则排除在外,而对于Easy,则仅完全可见的对象参与验证。

B. Pre-training on Auxiliary task

虽然使用的最大的具有地ground truth标签的数据集是nuScenes数据集,它包含近1.4M帧,训练点云不足500个,但是从头开始训练基于雷达的深层神经网络不可避免地会出现过拟合。为了减少过拟合问题,我们利用激光雷达数据集训练第一个神经网络,并将第一个神经网络的浅层作为第二个神经网络的特征检测器。然而,在Complex-YOLO网络上,利用KITTI LiDAR数据集对预先训练权重的Astyx雷达数据进行评估时,发现遮挡车辆、部分遮挡车辆和未遮挡车辆的AP分别为0.015%0.034%和1.447%,这表明激光雷达和雷达点云具有不同的性质。为了增强这种方法,我们对激光雷达点云进行变换,以便将其转换为类似雷达的点云。

C. Data Augmentations

此外,我们对点云和边界框标签使用了有效的数据扩充,如下所示:

上面的列表包括训练点云数据期间基本的数据增强方法,例如随机翻转、缩放因子从[0.95,1.05]均匀采样的全局缩放、通过从[−π/4、π/4]均匀采样的角度围绕垂直轴进行全局旋转以及其他新的方法[5]、[12]、[15]、[17]。

D. Networks

在网络方面,我们应用了目前最先进的只提取输入点云的三维物体检测网络的工作,它可以分为三种方法:利用成熟的二维检测框架,将点云投影到鸟瞰图中,或者将点云转换成规则的三维voxels,并直接学习从三维点云数据进行点云分类和分割。

Results

在评价方面,采用了平均精度(AP)作为三维目标检测的常用评价指标,并采用了0.5的三维阈值(IoU)。

[11]的工作在baseline模型中得到了(0.61,0.48,0.45)的平均精度(AP),使用Astyx雷达数据集,利用雷达相机融合检测汽车。在这里,我们根据对象的可见性/遮挡将数据集分为三个困难类别(简单、中等、困难)。

A. Complex-YOLO

对于鸟瞰图检测网络,我们开发了Complex-YOLO[2],这是一种最先进的实时单级三维目标检测网络。对于车辆的检测,我们根据ground_truth分布在[−2,4]×[-70,70]×[-70,70]m处沿z×y×x轴裁剪点云,并使用共9个 prior box.

宽度:1.7米。长度:4.2米、3.85米、3.5米。

方位,0, 1.57, -1.57 (rad).

在训练过程中,使用随机梯度下降,动量为0.9,重量衰减为0.0005。训练包括220次迭代,批大小为64次,初始学习率为0.001。

尽管有少量的训练和试验数据,但在非遮挡对象上进行车辆检测的平均精度(AP)为0.75。

DISCUSSION

本文的主要问题是“雷达只能进行目标检测吗?“从对LiDAR数据进行预训练的网络所显示的糟糕评估来看,LiDAR和雷达点云的表示方式有很大的不同,将基于LiDAR的网络应用于雷达数据的方法可能会失败。

考虑到我们以前训练的小数据集,在雷达点云上训练得到的AP为0.75是一个不错的结果。 Complex YOLO 显示在KITTI数据集上训练的类别(易、中、难)的AP(85.89,77.40,77.33),该数据集包含的训练数据量几乎是我们训练数据量的20倍。此外,根据文献[10]的报告,雷达点云的稀疏度是Velodyne VLP-16(10hz,16束激光)的10倍左右,雷达能够很好地在深度神经网络中推广。

CONCLUSION AND FUTURE WORK

本文提出了一种雷达感知系统。据我们所知,我们是第一个演示了基于深度学习的目标检测模型,该模型只在公共雷达数据集上运行。我们提出了一种新的方法来处理缺乏注释的ground truth 雷达数据集。

在这篇论文之后,我们计划进一步扩展我们的工作,评估更多不同的最先进的点云探测网络,并介绍将多普勒信息纳入网络以增强基于雷达的网络的方法。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MobileNetv1 论文阅读

    我们针对移动端以及嵌入式视觉的应用提出了一类有效的模型叫MobileNets。MobileNets基于一种流线型结构使用深度可分离卷积来构造轻型权重深度神经网络...

    yzh
  • 相机标定1:坐标系关系

    于是,从世界坐标系到相机坐标系,涉及到旋转和平移(其实所有的运动也可以用旋转矩阵和平移向量来描述)。绕着不同的坐标轴旋转不同的角度,得到相应的旋转矩阵,如下图所...

    yzh
  • C++第二章 变量与基本类型

    c++中的类型检查发生在编译阶段,因此编译器必须知道程序中每一个变量所对应的类型。

    yzh
  • sanic中文文档

    Install Sanic:python3 -m pip install sanic example

    py3study
  • python合并多个excel文件的示例

    工作中经常遇到要将十几个Excel(不管是xls、或者是CSV)合并到同一个文件中去,手工一个一个复制是不可能的,此时就轮到Python出马了

    砸漏
  • Local Image Descriptors

    为了在其他图像中可以明确匹配(如图像校准任务),我们需要选取非寻常的特征。但是如何定义非寻常?

    caoqi95
  • 使用Kind演示如何将Falco指标输出到Prometheus和Grafana

    Kind是一个使用Docker容器“节点”运行本地Kubernetes集群的工具,可以用于本地开发或CI。它还提供了在Kubernetes集群中安装Falco并...

    CNCF
  • 今天的一些感悟

    我做事情还是喜欢追求速度,当然某种程度上速度和效率是成正比的,不全是。与效率相比,我更关注的是如何把一件事情做得更好,如果只是皮毛,那么这件事情的意义本...

    jeanron100
  • AtomicInteger 底层实现原理是什么? 如何在自己代码中应用 CAS 操作

    AtomicInteger 是对 int 类型的一个封装,提供原子性的访问和更新操作,其原子性的操作实现是基于 CAS (compare-and-swap)技术...

    王小明_HIT
  • 同态加密技术

    最近领导安排研究下大数据的安全,计算机安全是个系统工程,分很多层面: 1)硬件安全 2)应用软件安全 3)操作系统安全 4)数据库系统安全 5)网络安全技术 涉...

    大数据和云计算技术

扫码关注云+社区

领取腾讯云代金券