点云深度学习在自动驾驶中的应用——MV3D文章阅读

大家好，这里是3D点云深度学习。

今天我们来看一篇点云目标检测方面的文章——MV3D，下面是作者提供的Demo演示。

MV3D全程是Multi-View 3D object detection。

读文章前，看下总体网络结构：

输入的数据有三种，分别是，点云鸟瞰图、点云俯视图和二维RGB图像。

输入数据

虽然用到点云，但是喂给网络之前，要先的到两种视角的投影图。而RGB图像就是简单地采用相机采集得到。

从图中可以看到，所谓的“点云投影”，其实并非简单地把三维拍扁成二维，而是提取了高程、密度、光强等特征，分别作为像素值，得到的二维投影图片。

网络主体

接下来是网络主体部分。

熟悉Faster-RCNN的同学，都知道region proposal network，图中的3D proposal network是RPN的推广。这部分是在鸟瞰图中操作的，因为作者认为鸟瞰图的优点在于遮挡少。

在鸟瞰图中得到侯选框后，分别向另外两幅图中进行映射。这样就可以得到三种ROI（感兴趣区域），接着，论文对三种ROI进行了融合。

对于区域融合的方法，论文也进行了分析对比。

最终方法选定为deep fushion。

实验结果，也是超越前人。

小结

自动驾驶的发展让激光雷达也彻底火了，相关的点云处理也成为热门。关注机器视觉目标检测领域的同学们应该知道，图像领域的目标检测已经比较成熟，而且有大量的大神级人物在这个领域工作，因此竞争也是非常激烈。

点云目标检测一个重要的idea来源就是把图像检测领域已有的成果，转化和推广到三维领域，因此可做的地方很多，值得关注而且很有前景。