点云深度学习在自动驾驶中的应用——MV3D文章阅读

大家好,这里是3D点云深度学习。

今天我们来看一篇点云目标检测方面的文章——MV3D,下面是作者提供的Demo演示。

MV3D全程是Multi-View 3D object detection。

读文章前,看下总体网络结构:

输入的数据有三种,分别是,点云鸟瞰图、点云俯视图和二维RGB图像。

输入数据

虽然用到点云,但是喂给网络之前,要先的到两种视角的投影图。而RGB图像就是简单地采用相机采集得到。

从图中可以看到,所谓的“点云投影”,其实并非简单地把三维拍扁成二维,而是提取了高程、密度、光强等特征,分别作为像素值,得到的二维投影图片。

网络主体

接下来是网络主体部分。

熟悉Faster-RCNN的同学,都知道region proposal network,图中的3Dproposal network是RPN的推广。这部分是在鸟瞰图中操作的,因为作者认为鸟瞰图的优点在于遮挡少。

在鸟瞰图中得到侯选框后,分别向另外两幅图中进行映射。这样就可以得到三种ROI(感兴趣区域),接着,论文对三种ROI进行了融合。

对于区域融合的方法,论文也进行了分析对比。

最终方法选定为deep fushion。

实验结果,也是超越前人。

小结

自动驾驶的发展让激光雷达也彻底火了,相关的点云处理也成为热门。关注机器视觉目标检测领域的同学们应该知道,图像领域的目标检测已经比较成熟,而且有大量的大神级人物在这个领域工作,因此竞争也是非常激烈。

点云目标检测一个重要的idea来源就是把图像检测领域已有的成果,转化和推广到三维领域,因此可做的地方很多,值得关注而且很有前景。

欢迎关注3D点云深度学习。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180527G1BP3J00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券