导读/ 3D点云学习( Point Clouds)作为近年来的研究热点之一,受到了广泛关注,每年在各大会议上都有大量的相关文章发表。当前,点云上的深度学习变得越来越流行,人们提出了许多方法来解决这一领域的不同问题。国防科技大学郭裕兰老师课题组新出的这篇论文对近几年点云深度学习方法进行了全面综述,是第一篇全面涵盖多个重要点云相关任务的深度学习方法的综述论文,包括三维形状分类、三维目标检测与跟踪、三维点云分割等,并对点云深度学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。也提供了现有方法在几个可公开获得的数据集上的全面比较,最后也介绍了未来的研究方向。
【摘要】点云学习近年来受到越来越多的关注,因为它在许多领域都有广泛的应用,比如计算机视觉、自动驾驶和机器人技术。作为人工智能的主要技术之一,深度学习已经成功地用于解决各种二维视觉问题。然而,由于使用深度神经网络处理点云所面临的独特挑战,对点云的深度学习仍处于起步阶段。最近,点云上的深度学习变得越来越流行,人们提出了许多方法来解决这一领域的不同问题。为了激发未来的研究,本文对点云深度学习方法的最新进展进行了综述。它涵盖了三个主要任务,包括三维形状分类,三维目标检测和跟踪以及三维点云分割。我们还提供了一些可公开获得的数据集的比较结果,以及有见地的观察和启发性的未来研究方向。
引 言
3D数据在不同的领域有许多应用,包括自动驾驶、机器人、遥感、医疗和设计行业[4]。近年来,深度学习技术在计算机视觉、语音识别、自然语言处理(NLP)、生物信息学等研究领域占据主导地位。但是,在三维点云上进行深度学习仍然面临数个重大挑战[5],例如数据集规模小,维数高和三维点云的非结构化性质。在此基础上,本文重点分析了用于处理三维点云的深度学习方法。
一些公开的数据集也被发布,例如ModelNet [6],ShapeNet [7],ScanNet [8],Semantic3D [9]和KITTI Vision Benchmark Suite [10]。这些数据集进一步推动了对三维点云的深度学习研究,提出了越来越多的方法来解决与点云处理相关的各种问题,包括三维形状分类、三维目标检测与跟踪、三维点云分割等。
这篇论文是第一个专门针对点云的深度学习方法的综述。此外,论文全面涵盖了分类,检测,跟踪和分割等不同应用。图1显示了三维点云的现有深度学习方法的分类。
图1:三维点云深度学习方法分类。
这项工作的主要贡献可以概括如下:
本文的结构如下。第2节回顾了三维形状分类的方法。第3节概述了现有的三维目标检测和跟踪方法。第4节介绍了点云分割的方法,包括语义分割、实例分割和部件分割。最后,第5节总结了论文。
论文还在以下网址上提供了定期更新的项目页面:
https://github.com/QingyongHu/SoTA-Point-Cloud
图2:三维形状分类网络的时间顺序概览。
图3:PointNet的体系结构。
图4:点的局部邻居的连续和离散卷积的图解。(a)代表一个局部邻居;(b)和(c)分别表示三维连续卷积和离散卷积。
图5:基于图的网络的图解。
表1:在ModelNet10/40基准上比较三维形状分类结果。这里,我们只关注基于点的网络,“#params”表示相应模型的参数数量。“OA”表示总体精度,“mAcc”表示表中的平均精度。符号“-”表示结果不可用。
图6:按时间顺序概述的最相关的基于深度学习的三维目标检测方法。
图7:三类三维目标检测方法的典型网络。从上到下:(a)基于多视图,(b)基于分割,(c)基于视锥的方法。
表2:在KITTI测试三维检测基准上的三维目标检测结果对比。
表3:在KITTI test BEV检测基准上三维目标检测结果对比。
图8:按时间顺序概述了一些最相关的基于深度学习的点云语义分割方法。
图9:基于投影方法的中间表示图。
图10:PointNet++[27]框架的示意图。
图11:有代表性的三维点云实例分割方法的年代概述。
未来方向
表4展示了现有方法在公共基准测试上的结果,包括S3DIS[176]、Semantic3D[9]、ScanNet[102]、SemanticKITTI[177]。需要进一步研究的问题有:
表4:S3DIS(包括Area5和6-fold cross validation)[176]、Semantic3D(包括semantic-8和reduced-8子集)[9]、ScanNet[8]和SemanticKITTI[177]数据集的语义分割结果对比。
结论
本文介绍了如今最先进的三维理解方法,包括三维形状分类,三维目标检测和跟踪,以及三维场景和目标分割。对这些方法进行了全面的分类和性能比较。介绍了各种方法的优缺点,并提出了今后的研究方向。