CVPR2019 | PointPillars点云检测网络

标题：PointPillars: Fast Encoders for Object Detection from Point Clouds

链接：

https://arxiv.org/abs/1812.05784

作者：Alex H. Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, Oscar Beijbom

源码：

https://github.com/nutonomy/second.pytorch

今日导读

PointPillars是在VoxelNet和SECOND的基础上进行改进，得到的点云目标检测网络。该网络目前在KITTI上3D汽车检测项目中排名第18。只用了点云数据，运行时间为16 ms，实时性很好，已被CVPR2019收录，是一个非常有前景，值得关注的成果。

为了很好的理解PointPillars，我们需要对VoxelNet和SECOND进行简单介绍。

一、VoxelNet

VoxelNet发布于2017年，不同于MV3D和AVOD将点云投影成鸟瞰图的处理方式，VoxelNet将点云表达成Voxel（体素）形式，这是一种规则化的三维空间结构，

然后用简化版的pointnet（即VFE）网络对每个Voxel中的点云进行特征提取，这样就在三维Voxel结构上增加了特征信息，所以每个点云文件都成为一个四维张量的“特征图”。这种特征图是没办法用常规的图片领域的（长、宽、通道）三维卷积核进行处理的，所以作者使用的是四维的卷积核（长、宽、高、通道）来进行处理，并构造了RPN网络用来做目标检测。

这种思路不需要把点云压缩成鸟瞰图，保留了更多的空间信息，最终也得到了CVPR2018的认可。虽然目前官方代码没有开源，但是有一些学者发布了复现的代码，可供研究者学习和改进。这种处理点云的思路有很高的优势，目前KITTI榜单中有不少成果都是在沿着这个思路做出来的。

二、SECOND

SECOND是重庆大学YanYan的成果，针对VoxelNet稀疏性导致的运算效率低的痛点做出了关键性的改进。同样将点云转换成Voxel形式，并用VFE层进行特征提取，到这里跟Voxelnet的流程完全一样，但是接下来就不同了。SECOND引入了稀疏卷积层，在Z方向上对体素进行稀疏卷积处理，在提取特征的同时，把三维的体素在空间上逐渐削薄，最终得到鸟瞰图，然后用二维的目标检测网络进行处理。

稀疏卷积层的引入，大大提高了运算速度。目前官方代码已经开源。SECONDv1.5在KITTI榜单取得了不错的效果。值得一提的是，PointPillars目前发布出来的代码也是在SECOND代码的基础上进行改进得到的。因此SECOND的代码很值得读者研究。https://github.com/traveller59/second.pytorch

三、PointPillars

到了pointpillars，相信不少读者会和我产生一样的想法，这个网络其实就是对SECOND做了简化，直接把点云表示成一个一个的“Pillar（柱子）”：

然后用VFE分别提特征，这样直接得到的就是鸟瞰图，也就是作者文中所提的“伪图像”。中间省略了SECOND中的稀疏卷积操作。

最后的检测网络部分也有所改进，不再赘述。

关键这个网络的代码也是在SECOND基础上实现的，但是居然就拿到了CVPR…（我胡说的）

所以SECOND一顿操作猛如虎，最后没有发到顶会上。这里为YanYan惋惜一下，工作做的真的很棒！

往期相关：

1、frustum-pointnet代码调试bug集锦与解决方法总结

2、点云目标检测已有成果速览