机器之心发布
上海交通大学
上海交通大学卢策吾团队 MVIG 实验室最近开源了 PointSIFT,这是一个点云特征的提取模块。在 Stanford Large-Scale 3D Indoor Spaces(S3DIS) [1] 中可以达到 70.23 的 mIoU(对比 PointCNN 62.74, 相对提高 11.9%)。在另一个常用数据集Stanford ScanNet [2]上可以达到 41.50 的 mIoU(对比 PointNet++ 38.28, 相对提高 8.1%)。
论文:PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation
论文作者:Mingyang Jiang、Yiran Wu、Cewu Lu (通讯作者)
众所周知,三维语义分割存在着很多的挑战。由于计算量的原因,我们无法将 2D 卷积神经网络直接推广到 3D。自从 PointNet 系列出现之后,大家开始使用原始点云作为基本输入。这样做能够的保留原始数据的内在关系,并且也能够减少很多不必要的计算。
这个框架现阶段仍有一些问题, 比如每个点操作过于独立,而无法高效刻画相关区域的语义结构。针对这些问题,受到传统 SIFT feature 设计的启发,上海交大 MVIG 组提出了基于 PointSIFT 算子的框架。在结构语义描述上,传统 SIFT feature 设计是最有效的描述算子之一。在图像上,SIFT 算子能编码区间上各个方向的信息,同时选择最合适的表征尺度。我们的 pointSIFT 将其设计思想推广到 3D 点云域上,对于每一个点云能端对端地输出一个表征向量,该向量编码了各个方向的信息,同时自适应地选择合适的表征尺度。不同于 SIFT 传统算法,我们采用网络结构,网络参数是由训练获得。
三维点云 PointSift 模块与图像 SIFT 算子的类比
pointSift 模块作为一个通用提高表征能力的模块,可以灵活地嵌入在各种 pointnet 框架中,比如下图所示。
基于 pointSIFT 嵌入的点云分割网络 SA 和 FP 分别为编码器 (Set Abstraction) 和解码器 (Feature Propagation) 模块
参考文献:
Prof. Cewu Lu is a research Professor at Shanghai Jiao Tong University, leading Machine Vision and Intelligence Group. He is also one of MIT TR35 -"MIT Technology Review, 35 Innovators Under 35 (China)". He was Postdoc at Stanford AI lab (under Fei-Fei Li and Leonidas Guibas) and selected as the 1000 Overseas Talent Plan (Young Talent) (中组部青年千人计划).
本文为机器之心发布,转载请联系本公众号获得授权。