专栏首页点云PCL3D点云的深度学习

3D点云的深度学习

使用卷积神经网络(CNN)架构的深度学习(DL)现在是解决图像分类任务的标准解决方法。但是将此用于处理3D数据时,问题变得更加复杂。首先,可以使用各种结构来表示3D数据,所述结构包括:

1 体素网格 2 点云 3 多视图 4 深度图

对于多视图和深度图的情况,该问题被转换为在多个图像上使用2D CNN解决。通过简单定义3D卷积核,可以将2D CNN的扩展用于3D Voxel网格。但是,对于3D点云的情况,目前还不清楚如何应用DL工具。但是之前也已经有几种解决办法了,具体可以参看 http://www.cnblogs.com/li-yao7758258/p/8182846.html

以及最近山东大学研究者们提出的PointCNN,对于pointCNN 这篇论文是一种为基于点云的特征学习提出了一种简单且通用的框架。CNN成功的关键是要能利用数据中以网格形式密集表示的空间上的局部相关性(比如图像)。但是,点云是不规则和无序的,因此在这些点关联的特征上直接求核的卷积会导致形状信息的丢失,同时还会因顺序不同而不同。为了解决这些问题,提出了根据输入点学习一种X变换,然后将其用于同时加权与点关联的输入特征和将它们重新排列成潜在隐含的规范顺序,之后再在元素上应用求积和求和运算。我们提出的方法是典型CNN向基于点云的特征学习的泛化,因此将其称为PointCNN。实验表明,PointCNN能在多种有挑战性的基准数据集和任务上实现与之前最佳方法媲美或更好的表现。

PointCNN与其他方法的对比

其次,图像的可用数据比较多,尽管最近3D数据集的数量有所增加 。但是,对于3D情况,可以容易地生成合成数据。

下面附有在3D数据上使用DL工具的论文列表

  1. Voxel Grid – Volumetric CNN: (1) Voxnet: A 3D convolutional neural network for real-time object classification

(2) Volumetric and multi-view CNNs for object classification on 3d data – compared volumetric CNNs to Multi-view CNNs for object classification. They showed that the multi-view approach performs better, however, the resolution of the volumetric model was limited

(3) 3D shapenetes: A deep representation for volumetric shapes

  1. Multi-View CNNs:

(1) Volumetric and multi-view CNNs for object classification on 3d data

(2) Multi-View Convolutional Neural Networks for 3D Shape Recognition

  1. Point clouds:

(1) Pointnet: Deep learning on point sets for 3d classification and segmentation – In this work they applied a convolution kernel on each point separately, creating a higher dimensional representation of each point and then max-pooling over the entire point set (max pooling used as a symmetric function) to get invariance to permutations of the input cloud (since there is no geometrical significance to the point order).

  1. Hand-crafted features + DNN :

(1) 3D deep shape descriptor – fed heat kernel signatures (HKS) descriptor into an NN to get an Eigen-shape descriptor and a Fischer shape descriptor.

有问题请指出,同时欢迎大家关注微信公众号

或者加入3D视觉微信群一起交流分享

本文分享自微信公众号 - 点云PCL(dianyunPCL),作者:particle

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • HoPE杂乱场景的点云数据平面的提取

    标题:HoPE: Horizontal Plane Extractor for Cluttered 3D Scenes

    点云PCL博主
  • SLAM综述(4)激光与视觉融合SLAM

    SLAM包含了两个主要的任务:定位与构图,在移动机器人或者自动驾驶中,这是一个十分重要的问题:机器人要精确的移动,就必须要有一个环境的地图,那么要构建环境的地图...

    点云PCL博主
  • 介绍一篇关于点云的深度学习的文章-PointNet

    PointNet: Deep Learning on PointSets for 3D Classification and Segmentation

    点云PCL博主
  • 细微而相关的调解和紧急情况(NIME)解决普遍存在的政治和认识论危机(CS HC)

    不同于之前的其他协作,NIME在ACM会议计算机中的人类因素研讨会出现近20年后,被确立为国际的协作。尽管这个起源故事经常被提起,NIME从主要涉及人机交互的领...

    木樾233
  • 可解释计划的论证方案(CS AI)

    人工智能(AI)正越来越多地被用于开发生产智能解决方案的系统。 然而,有一个主要的问题是,建造的系统是否会被人类信任。 为了在人工智能系统中建立信任,使用者需要...

    用户7095611
  • 科技巨头启动人工智能全球市场

    市场本质上是一个人工智能应用商店。它将托管2,000多种高价值AI资产,这些资产专注于银行,保险,医疗保健和数字商务市场的客户参与和流程智能问题。

    用户8055484
  • Application Architecture Guide 2.0 - CH 19 - Mobile Applications(2)

    本文翻译“Authentication and Authorization”、“Caching”、“Communication”和“Configuration ...

    ShiJiong
  • Building the Unstructured Data Warehouse: Architecture, Analysis, and Design

    Building the Unstructured Data Warehouse: Architecture, Analysis, and Design

    数据饕餮
  • 使用Web表回答开放域问题(Information retrieval)

    从web文档中提取的表可用于直接回答许多web搜索查询。以前使用web表回答问题(QA)的工作主要关注于事实查询,即,即可以用短字符串(如人名或数字)回答的。然...

    李欣颖6837176
  • [AV1] A Progress Report: The Alliance for Open Media and the AV1 Codec

    On April 5, 2016, the Alliance for Open Media announced three new members; AMD, ...

    轻舞飞扬SR

扫码关注云+社区

领取腾讯云代金券