前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >CVPR2019 | PointPillars点云检测网络

CVPR2019 | PointPillars点云检测网络

作者头像
点云乐课堂
发布2020-05-18 14:20:08
1.5K0
发布2020-05-18 14:20:08
举报
文章被收录于专栏:3D点云深度学习

标题:PointPillars: Fast Encoders for Object Detection from Point Clouds

链接:

https://arxiv.org/abs/1812.05784

作者:Alex H. Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, Oscar Beijbom

源码:

https://github.com/nutonomy/second.pytorch


今日导读

PointPillars是在VoxelNet和SECOND的基础上进行改进,得到的点云目标检测网络。该网络目前在KITTI上3D汽车检测项目中排名第18。只用了点云数据,运行时间为16 ms,实时性很好,已被CVPR2019收录,是一个非常有前景,值得关注的成果。

为了很好的理解PointPillars,我们需要对VoxelNet和SECOND进行简单介绍。

一、VoxelNet

VoxelNet发布于2017年,不同于MV3D和AVOD将点云投影成鸟瞰图的处理方式,VoxelNet将点云表达成Voxel(体素)形式,这是一种规则化的三维空间结构,

然后用简化版的pointnet(即VFE)网络对每个Voxel中的点云进行特征提取,这样就在三维Voxel结构上增加了特征信息,所以每个点云文件都成为一个四维张量的“特征图”。这种特征图是没办法用常规的图片领域的(长、宽、通道)三维卷积核进行处理的,所以作者使用的是四维的卷积核(长、宽、高、通道)来进行处理,并构造了RPN网络用来做目标检测。

这种思路不需要把点云压缩成鸟瞰图,保留了更多的空间信息,最终也得到了CVPR2018的认可。虽然目前官方代码没有开源,但是有一些学者发布了复现的代码,可供研究者学习和改进。这种处理点云的思路有很高的优势,目前KITTI榜单中有不少成果都是在沿着这个思路做出来的。

二、SECOND

SECOND是重庆大学YanYan的成果,针对VoxelNet稀疏性导致的运算效率低的痛点做出了关键性的改进。同样将点云转换成Voxel形式,并用VFE层进行特征提取,到这里跟Voxelnet的流程完全一样,但是接下来就不同了。SECOND引入了稀疏卷积层,在Z方向上对体素进行稀疏卷积处理,在提取特征的同时,把三维的体素在空间上逐渐削薄,最终得到鸟瞰图,然后用二维的目标检测网络进行处理。

稀疏卷积层的引入,大大提高了运算速度。目前官方代码已经开源。SECONDv1.5在KITTI榜单取得了不错的效果。值得一提的是,PointPillars目前发布出来的代码也是在SECOND代码的基础上进行改进得到的。因此SECOND的代码很值得读者研究。https://github.com/traveller59/second.pytorch

三、PointPillars

到了pointpillars,相信不少读者会和我产生一样的想法,这个网络其实就是对SECOND做了简化,直接把点云表示成一个一个的“Pillar(柱子)”:

然后用VFE分别提特征,这样直接得到的就是鸟瞰图,也就是作者文中所提的“伪图像”。中间省略了SECOND中的稀疏卷积操作。

最后的检测网络部分也有所改进,不再赘述。

关键这个网络的代码也是在SECOND基础上实现的,但是居然就拿到了CVPR…(我胡说的)

所以SECOND一顿操作猛如虎,最后没有发到顶会上。这里为YanYan惋惜一下,工作做的真的很棒!


往期相关:

1、frustum-pointnet代码调试bug集锦与解决方法总结

2、点云目标检测已有成果速览

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-04-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 3D点云深度学习 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
图像识别
腾讯云图像识别基于深度学习等人工智能技术,提供车辆,物体及场景等检测和识别服务, 已上线产品子功能包含车辆识别,商品识别,宠物识别,文件封识别等,更多功能接口敬请期待。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档