CVPR 2020 | 自适应的点云降采样，兼顾3D物体分类的准确性和效率

本文介绍的是 CVPR 2020 论文《Adaptive Hierarchical Down-Sampling for Point Cloud Classification》，作者来自华为诺亚方舟实验室认知车联网项目加研团队。

作者 | 诺亚方舟实验室

编辑 | 丛 末

论文链接：https://arxiv.org/abs/1904.08506

1

简介

本研究以深度神经网络为依托，面向3D点云分类，针对现有文献对深度神经网络中无序点云的确定性降采样盲目低效的问题，文章提出了自适应的点云降采样方法，考虑到了每个点对网络输出的重要性，避免了点云中部分重要的点在采样中被去除，而价值不大的点被传到了网络下一层。

该方法具有点序不变性（Permutation-invariant）和确定性（Deterministic），即输入点云中的点可以按照任意顺序排列，而输出的降采样结果是确定的一组点，且该组点为输入点云的一个子集。这些性质对深度神经网络的鲁棒性和分类结果的稳定性起到了重要作用。

自适应的降采样方法，能以关键点层（Critical Points Layer, CPL）的方式按照用户需要（与应用类别、训练数据类型等相关）级联（Hierarchical）的融入到深度神经网络中，与基于图的点云卷积层共同组成卷积神经网络（CP-Net）。在训练过程中，选取的关键点与神经网络相结合得到层层强化，作用逐渐发挥，提高了分类的准确性和效率。

本文将CP-Net应用到3D物体分类中，在ModelNet40数据集上得到的分类准确率高于已有基于点云的方法，在投稿时占据了该数据集分类排行榜第一的位置。

图1：关键点层

2

关键点层的结构

关键点（Critical Points）的选取以及关键点层的形成简单高效。与大多数基于图（Graph-based）的点云降采样方法不同，该方法并不使用k-NN寻找每个点的最近邻，而只需在全局范围找到关键点即可，因此效率极高。

图1描述了关键点层的基本结构。对于具有d维特征的n个输入点，该方法在每一维使用n个点中的最大值来组成一个新的特征向量，具有这些最大值的点被称为关键点。同时，在索引向量（Index Vector）中保留关键点的顺序号（即第几个）。对于可能出现的一个关键点在多个维度都有最大值的情况，只需保留一个顺序号并且在特征向量的对应位置使用最大值的和。

图1中的fs和uidx表示了该特征向量以及对应的关键点的索引向量。方法对特征向量及其索引向量按升序重排，进而使用最近邻重整（Nearest Neighbor Resizing）的方法把排序后的索引向量（图1中的suidx）上采样到一个维数固定的值，从而满足神经网络对于批处理（Batch Processing）中点的数量必须一致的要求。最后，按照上采样后索引向量（rsuidx）中存取的点的序号提取需要的点。可以看出，该过程不依赖点云中点的顺序，即n个点可以任意重排，其最终的降采样结果，即挑选出的关键点不变，因此算法具有点序不变性，而特征向量与其对应的索引向量始终成对存在，确保了采样过程的一致性和确定性。

图2：CP-Net网络结构与流程图

3

关键点网络（CP-Net）

本文提出的CPL生成方法适用于任意处理3D点云的网络结构，具有良好的普适性。图2描述了CPL应用的一个样例，即CP-Net。

本例中卷积层输出的特征矩阵Fsj可以作为CPL的输入，而kj则用来控制降采样后点的数量。用户可以在CP-Net中根据需要加入任意多个CPL达到降采样的目的。由于CPL挑选到的都是具有明显特征（同维最大值）的关键点，在与神经网络相互结合训练的过程中，这些关键点不断得到强化，其作用逐步突出。

4

3D物体分类

图3：基于CP-Net的点云分类网络结构

以CP-Net为核心，本文提出了一种可以应用于点云分类的深度神经网络架构，如图3所示。该网络包含了三个子网：即特征提取子网，降采样子网以及分类子网。

可以看出，原始点云经过特征提取后，形成了具有1024维特征的点云，而CPL的使用，把点的数量降采样到了n/4，从效率上讲，这对后续EdgeConv层的进一步处理至关重要。这n/4个点经过ReduceMax后形成一个1024维的向量，最终由分类子网给出类别信息。本研究在点云分类上取得了比主流方法（PointNet++,DGCNN）准确率更高的分类结果。