基于自动深度图生成的点云分类网络

泡泡点云时空，带你精读点云领域顶级会议文章

标题：A Network Architecture for Point Cloud Classification via Automatic Depth Images Generation

作者：Roveri Riccardo, Rahmann Lukas, Oztireli Cengiz, Gross Markus, Department of Computer Science, ETH Zurich, Disney Research Zurich

来源：The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，2018

播音员：孔荔

编译：蔡毅

审核：郑森华

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

我们提出一种新的点云分类网络架构。该方法的关键是将输入的3D无序点云自动转换成一系列有用的2D深度图，然后使用图像CNN的方法进行分类。本文提出的模型将点云转换成深度图，并能够结合任意神经网络结构来处理点云。将这些模型与目前最好的分类网络结合使用，点云分类的结果相比于最先进技术也极具竞争力。此外，由于网络架构能够自动地生成一些有用的2D图像来表示3D点云，因此在将来可以被用于点云可视化等其他方面。

主要贡献

提出一种新的用于点云分类的神经网络，相比于现在最好的研究，甚至在困难的噪声数据集上都取得了富有竞争力的结果。主要思想是将无序3D点云自动转换成有用的2D图像，然后使用目前研究得比较透彻的图像分类网络进行分类。

通过预测有意义的视角方向，生成一个或一系列有用的点云深度图。我们举例说明了通过学习得到的视角方向及其相应的深度图能够用于其他的用途，例如一种点云的可视化。

提出一种完全可微的模型来生成深度图，通过集成一种点云筛选策略来表示完整的3D对象。这个模型能够用于将来的任务和点云架构中。

引言

卷积神经网络（CNNs）在图像分类中取得了瞩目的效果，受此启发，本文构建了一个新的神经网络架构，该网络能够让处理2D图像的CNNs方法也能用到3D点云上。最近出现了一些新的方法（PointNet等等），可以直接对无序点云进行处理和分类。与该方法不同，我们设计了一些可将3D点云自动转换为2D图像的网络模型，然后在使用CNNs对其2D图像进行分类；另外，在一些3D格网模型分类中，以前有一些工作会事先对点云进行渲染生成图像操作，然而在我们的方法中，图像不会预处理阶段生成，而是在神经网络中学习得到。

网络结构

图1 网络结构流程：输入点云数据P，指定视角数量K。第一个模型预测出K个最富含信息的点云视角，然后第二个模型渲染出这K个视角的深度图，最后使用第三个模型对K个深度图进行分类。上图给出了一个网络的示意图，在此实例中K=2。

1. 视角预测

将点云作为输入，使用PointNet预测K个视角。考虑内存限制，将输入点云进行降采样，然后使用PointNet进行视角预测，构建旋转矩阵，最后对原始点云进行旋转操作。

2. 深度图像生成

此部分目标主要是利用一些可微操作生成深度图。本文使用双边滤波插值的方法，过滤那些属于离图像平面最远的平面上的点云。具体操作参见原文。

3.基于图像的分类

基于最后一个模型对之前生成的K个深度图进行分类。具体来说，我们使用K个ResNet50进行分类。ResNet50利用预训练权重作为初始值，采用ImageNet数据集作为训练样本集。

实验结果

表1 本文方法使用1个,2个,4个视角的结果和PointNet结果对比；数据集分别绕3轴随机旋转（3D）与仅绕y轴旋转（y-Axis）做对比；评价指标使用总体精度（overall）和类平均精度（class）作对比

表2 基于数据集增强的视角（Learned）和PCA变换视角（PCA）对比；单个视角和多个视角对比

图6 上图展示了PCA视角通常是不明确的，很多重要的特征会被大的表面，PCA视角相当于是随机视角（详见原文）

表3 随机视角（Random）、基于数据集增强的3D旋转视角（3D Learned）、基于数据集增强的y轴视角（y-Axis Learned）对比

Abstract

We propose a novel neural network architecture for point cloud classification. Our key idea is to automatically transform the 3D unordered input data into a set of useful 2D depth images, and classify them by exploiting well performing image classification CNNs. We present new differentiable module designs to generate depth images from a point cloud. These modules can be combined with any network architecture for processing point clouds. We utilize them in combination with state-of-the-art classification networks, and get results competitive with the state of the art in point cloud classification. Furthermore, our architecture automatically produces informative images representing the input point cloud, which could be used for further applications such as point cloud visualization.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！