[Paper Reading-3d] AFDetV2: Real-Time Anchor-Free Single-Stage 3D Detection with IoU-Awareness

Paper: https://arxiv.org/abs/2107.14342

TL;DR

地平线在Waymo自动驾驶挑战赛2020中方法(AFDet)的升级版-AFDetv2。模型是one-stage,anchor-free的，在保证速度的同时有一个较好的精度。本文方法集成了较多的东西，比较工程，在模型、训练、硬件方面都做了优化。

Dataset/Algorithm/Model/Experiment Detail

模型结构如下图：

在这里插入图片描述

首先点云voxelization，这一步文章利用了GPU进行优化，提高了速度。3D backbone部分仍旧使用的是3D稀疏卷积，但是本文减少了前端残差块的数量&&降低了Z方向上的采样卷积数量，在速度和精度上有一个取舍平衡。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3ic2Cfih-1635330200347)(upload://8b6cPgfSc6eIpbZ23jR2hrB7prh.png)]

RPN

在这里插入图片描述

RPN部分采用了自校准卷积模块self-calibrated convolution (SC-Conv)，具体结构如下图。该模块能扩大感受野，同时在空域和特征通道上引入自注意力机制。SC-Conv模块提高了模型精度，没有增加计算量。

在这里插入图片描述

Anchor-free Head

在这里插入图片描述

共有5+2个head,跟之前的AFDet相比增加了两个额外分支，IoU branch和辅助分支Keypoints预测。 IoU branch，2D检测已经很成熟了，3D 检测也有很多应用了，主要还是为了解决分类置信度和box定位精度不匹配的问题。辅助分支关键点预测，能预测物体框的角点，可以更好的帮助网络学习物体的边缘信息。雷达反射回来的点往往在物体表面，中心不在可见点云中，增加3D框角点，能引导贴合数据，增加定位精度。Heatmap分支，增大了高斯核的半径。loss设置：

• focal loss: heatmap预测，关键点预测
• L1 loss: local offset head, z-axis location head, 3D object size head, orientation regression
• Smooth L1 loss: IoU

实验

数据增强： 随机选择标注样本，随机反转x,y坐标， 整体旋转缩放等； SWA: Stochastic Weights Averaging 随机平均权重

Waymo结果：

在这里插入图片描述

Thoughts

本文综合使用了很多之前的工作（包括2D,3D)，也提出了很多新的想法，体现了很强的工程性，所以能在速度和精度方面都有一个很好表现。