PointNet++论文个人理解

作者丨zmYD@知乎

来源丨https://zhuanlan.zhihu.com/p/157489233

Abstract

Motivation:PointNet不能捕捉局部结构信息，因此限制了其在细粒度任务和复杂场景的泛化能力。

作者提出了一个层级的网络来学习上下文尺度逐渐增大的局部特征。其次，点云中的点分布式不均匀的。为此，作者提出了一个新颖的点集学习层来自适应的学习多尺度特征。

Introduction

PointNet++的想法很简单，首先使用距离度量将点云分成若个个有重叠的子区域。使用网络在这些子区域上提取特征。然后像CNN一样，将这些小的子区域重组，组成多个更大的子区域（这也就相当于感受野增大）来提取更高级的信息。直至重组到整个点集被包含，提取整个点集信息。

需要解决的两个关键问题：

1. 如何将点集划分成多个子区域；

作者选用farthest point sampling(FPS)算法在整个点集中选点（其实就是为了保证你所选中的点，几乎覆盖了整个点集。例如，一条狗，随机选取的时候可能选中的点只包含了头部和身子，完全忽略了腿和尾巴）。点选完后，使用邻域球(neighborhood ball)来得到一个子区域（可以理解成，一张大的图片被分成了一个个的patch）。最后使用pointNet对这些“patch"抽取特征。

2. 如何通过特征提取器提取特征。

作者选用PointNet作者特征提取器。

作者还利用了多尺度邻域信息来达到增强模型鲁棒性和捕捉细节信息的能力。

Method

该网络是由具有层级结构的大量set abstraction levels组成。set abstraction levels是由三个层组成，分别为：Sampling layer, Grouping layer and PointNet layer.

Sampling layer:

使用FPS来选择每一个区域的中心点。

Grouping layer:

得到一个区域的中心点后，可以使用ball query或者knn方法得到一系列属于该区域的点集（做图像出身的可以理解成一个个patch）。作者在文中说到，ball query所得到的点集确保了一个固定的区域尺度，即使在不同的空间中，模型提取的局部区域特征更加泛化。（大白话就是：ball query可以确保你得到的点在一个半径固定的圆中。knn虽然也是选出K个点，但是这K个点的不一定在一个半径固定的圆中）。

在CNN中我们通常使用3*3卷积对9个点来提取特征或者5*5卷积对25个像素来抽取图像特征。在这里，得到的这些点就是你需要抽取特征的对象。（从图像转到点云处理的我，理解这个理解了好久。。。。）

PointNet layer：

使用PointNet来对一个个patch提取特征。

值得注意的是，输入pointnet的坐标需要进行一个处理。就是将每个点的坐标减去中心点坐标。其实这个也很好理解，我们使用pointnet来提取的是这个patch的特征，坐标剪完就是个相对坐标（相对于一个patch中心点的 坐标）。如果不减的话，你的坐标属于整个点云空间，那你提取的信息到底是想关于这个patch还是关于整个数据？

Robust Feature Learning under Non-Uniform Sampling Density：

1. Multi-scale grouping（MSG)

这个很简单也很好理解。例如一张图像，你可以提取3*3、5*5，7*7等大小的patch。在这里也一样，改变上述圆的半径自然尺度也不一样。

2.Multi-resolution grouping（MRG)这个理解了很久，图b一开始是真的没看明白。。。

假如说现在有一个区域，我们先group成10组，抽取特征，再将这个区域group成3组，再提取特征（e.g. 两个set abstract level)，构成了左边的那个向量。右边的向量就是对这个区域直接提取特征。这个方法明显计算复杂度低于MSG。

除此之外，作者还是用dropout随机的删除一些点，来达到不同稀疏程度的效果（可以理解成在图像中我们随机的blur一些区域，来达到数据扩充的效果）。

本文仅做学术分享，如有侵权，请联系删文。