专栏首页点云PCL【点云论文速读】基于YOLO和K-Means的图像与点云三维目标检测方法

【点云论文速读】基于YOLO和K-Means的图像与点云三维目标检测方法

标题:3D Object Detection Method Based on YOLO and K-Means for Image and Point Clouds

作者:Xuanyu Yin and Yoko Sasaki and Weimin Wang

论文摘要

基于激光雷达的三维目标检测和分类任务是自主动驾驶领域(AD)的关键。激光雷达传感器可以提供周围环境的三维点云数据。然而,三维点云的实时检测需要强大的算法来实现。本文提出了一种基于点云和图像的三维目标检测方法,该方法由三部分组成:

(1)激光雷达与相机的外参标定和图像矫正。

(2) 基于YOLO的检测与点云提取;

(3)基于K均值的点云分割与基于深度图像物体检测实验。

在我们的研究中,相机获取的图像数据可以通过YOLO算法进行实时二维目标检测,然后将检测到的图像上的包围盒进行变换,该变换的功能是映射到Lidar的点云数据进行三维目标检测。通过比较三维点云传来的二维坐标是否在物体边界框内,可以在GPU中实现高速的三维物体识别功能。在点云上进行k-means聚类,提高了聚类的精度和精度。该检测方法的速度比PointNet快。

主要贡献

CVPR2017提出的PointNet是一篇具有里程碑意义文章,标志着点云处理进入了一个新的阶段。原因是在PointNet之前,我们没有办法直接处理点云。因为点云是三维且无序的,并且他们不平滑。此外,需要适用于图像神经网络算法也对点云来说是不适用的。因此,研究人员提出了多种方法,如将点云转换成图像(MVCNN),将点云划分为体素,然后将点云划分为节点并按顺序排序。因此,点云在深度学习技术上的发展可以PointNet来划分““pre-PointNet era”发展到“ “post-PointNet era ”。在PointNet、PointCNN、SO-Net等相继问世后,基于点云的深度学习的方法才开始不断改善。

论文图集

图1显示了所提出系统的概述。这项研究基本上分为六个部分。第一部分主要是相机的校准和测试设备的结构设计。第二部分是将未标定的失真的图像转换为未失真的图像。第三部分是带有2D图像的YOLOv3对象识别。在实验中,我们主要使用YOLOv1 tiny和YOLOv3方法,使用keras再现YOLO。第四部分是点云的提取。我们使用rosbag存储数据,并使用RVIZ进行点云可视化。第五部分是k-means的无监督聚类,用于优化基础实验的检测结果并提高3D物体识别的检测精度。

传感器的安装:激光雷达和大广角相机

五张经过标定后的图像

YOLO检测到的物体

激光点云检测到的物体

实验结果

将激光雷达点云转换为深度图的参数设置

这是一个32*1024的点云生成的深度图

K-mean聚类展示

总结

本文的研究结论如下:

1.采用的方法是将三维点云直接转换为二维图像数据,从二维Boundingbox的识别到三维点云的渲染。由于采用了YOLO算法,实时性很强,并且采用了无监督聚类。很多噪音都会被消除。这样可以提高识别率。

2.主要是想找到一种快速、准确地判断某一方向上是否有物体和物体的方法。这将有助于无人驾驶领域的成功,让汽车获得更多的信息做出更多的判断。

3.最后的实验结果,在使用两个1080Ti GPU的情况下,基本保证了没有聚类的实验每帧消耗0.19秒,k均值聚类后5个线程消耗0.192秒。快速识别过程保证了无人驾驶环境的实时检测。如果采用并行、分布式计算等技术,识别速度会更快。

本文分享自微信公众号 - 点云PCL(dianyunPCL),作者:dianyunPCL

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-08-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用深度学习的三维点云分类的介绍

    在过去的这些年里,对二维图像已经有了大量深入的研究,并且有着长足的发展。它在分类任务上取得了极好的结果主要得益于一下两个关键因素:

    点云PCL博主
  • 三维点云分割综述(上)

    三维点云的语义分割3D Point Cloud Semantic Segmentation (PCSS)在计算机视觉以及机器人领域广泛的应用,随着深度学习技术的...

    点云PCL博主
  • 一个精简的开源点云库

    Cilantro是一个精简高效的点云数据处理库,编程是C++,依赖项较少,但是相比较于PCL来说,代码更有可读性,PCL中大量的使用C++高级特性,阅读起来比较...

    点云PCL博主
  • 概述 | 点云数据处理方法都有哪些?

    ICP点云配准就是我们非常熟悉的点云处理算法之一。实际上点云数据在形状检测和分类、立体视觉、运动恢复结构、多视图重建中都有广泛的使用。点云的存储、压缩、渲染等问...

    智能算法
  • 基于三维点云场景的语义及实例分割:RandLA-Net和3D-BoNet

    公开课地址:https://www.shenlanxueyuan.com/open/course/53

    深蓝学院
  • 点云深度学习研究现状与趋势

    在工业界,利用激光雷达获取点云数据,很早就有应用了,如进行测高、遥感等。近几年的大规模发展得益于自动驾驶和机器人领域的火热,激光雷达成为重要的感知手段而得到人们...

    点云乐课堂
  • 【点云学习】介绍

    雷达在反法西斯战争中发挥了重要作用,在英国战场雷达的出现可以说是扭转战局的关键力量。

    EdenChen
  • GRNet网络:3D网格进行点云卷积,实现点云补全

    Gridding Residual Network for Dense Point Cloud Completion

    3D视觉工坊
  • 基于点云 / RGBD的3D视觉检测技术

    3D视觉技术相较于2D视觉能获取更丰富更全面的环境信息,已经成为机器人导航、无人驾驶、增强/虚拟现实、工业检测等领域的关键技术.当前基于2D的的计算机视觉技术日...

    SIGAI学习与实践平台
  • 高精度,高效率点云三维重建,清华等联合提出PointMVSNet网络框架

    多视角三维重建(MVS)是计算机领域的一项基础任务,目标是通过相机拍摄的图像和相机参数推导出现实环境中物体的三维信息。不同角度拍摄的图像会存在一些公共部分,合理...

    机器之心

扫码关注云+社区

领取腾讯云代金券