点云深度学习系列五： RSNet

整体框架

初始n*d的点云，首先经过输入特征提取块(3卷积层，每层64个1*1滤波器)，输出n*din大小的特征Fin；通过x、y、z三个方向的切片池化层将无序点云转换为有序序列；采用双向RNN处理序列，更新特征；采用切片上池化层映射回每个点；最后经过输出特征提取块(3个1*1卷积层，输出维度为512，256，K)，处理Fsu(切片上池化层的输出)，输出每个点的预测

局部依赖模块

Slice Pooling Layer

输入是无序的点云特征，输出是有序的特征向量序列。从x、y、z三个方向进行切片，通过超参数r控制切片的分辨率，N为切片数。Si代表每个切片集合。通过最大池化操作得到全局特征。

RNN Layer

利用RNN处理局部依赖建模的序列中，因为它们是一组为结构化序列而设计的端到端学习算法。它的输入是Fs，为了保证某一个切片可以影响到其它切片，采用双向RNN，输出是周边点影响的特征Fr。

Slice Unpooling Layer

利用之前保存的S集合的信息，将Fr反投影到每个点

总结

相比其他为了得到局部信息需要复杂计算的模型，RSNet简化了计算。整体思路比较简单，但效果很好。尤其灵活地将RNN运用到模型中。