学界 | 上海交大卢策吾团队开源PointSIFT刷新点云语义分割记录

机器之心发布

上海交通大学

上海交通大学卢策吾团队 MVIG 实验室最近开源了 PointSIFT,这是一个点云特征的提取模块。在 Stanford Large-Scale 3D Indoor Spaces(S3DIS) [1] 中可以达到 70.23 的 mIoU(对比 PointCNN 62.74, 相对提高 11.9%)。在另一个常用数据集Stanford ScanNet [2]上可以达到 41.50 的 mIoU(对比 PointNet++ 38.28, 相对提高 8.1%)。

论文:PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation

论文作者:Mingyang Jiang、Yiran Wu、Cewu Lu (通讯作者)

  • 阅读论文:arXiv:1807.00652, 2018;https://arxiv.org/abs/1807.00652
  • 论文主页:http://www.mvig.org/publications/pointSIFT.html
  • 代码链接:https://github.com/MVIG-SJTU/pointSIFT

众所周知,三维语义分割存在着很多的挑战。由于计算量的原因,我们无法将 2D 卷积神经网络直接推广到 3D。自从 PointNet 系列出现之后,大家开始使用原始点云作为基本输入。这样做能够的保留原始数据的内在关系,并且也能够减少很多不必要的计算。

这个框架现阶段仍有一些问题, 比如每个点操作过于独立,而无法高效刻画相关区域的语义结构。针对这些问题,受到传统 SIFT feature 设计的启发,上海交大 MVIG 组提出了基于 PointSIFT 算子的框架。在结构语义描述上,传统 SIFT feature 设计是最有效的描述算子之一。在图像上,SIFT 算子能编码区间上各个方向的信息,同时选择最合适的表征尺度。我们的 pointSIFT 将其设计思想推广到 3D 点云域上,对于每一个点云能端对端地输出一个表征向量,该向量编码了各个方向的信息,同时自适应地选择合适的表征尺度。不同于 SIFT 传统算法,我们采用网络结构,网络参数是由训练获得。

三维点云 PointSift 模块与图像 SIFT 算子的类比

pointSift 模块作为一个通用提高表征能力的模块,可以灵活地嵌入在各种 pointnet 框架中,比如下图所示。

基于 pointSIFT 嵌入的点云分割网络 SA 和 FP 分别为编码器 (Set Abstraction) 和解码器 (Feature Propagation) 模块

参考文献:

  1. Iro Armeni, Ozan Sener, Amir R. Zamir, Helen Jiang, Ioannis Brilakis, Martin Fischer, and Silvio Savarese. 3d semantic parsing of large-scale indoor spaces. In Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, 2016.
  2. Angela Dai, Angel X. Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes. In Proc. Computer Vision and Pattern Recognition (CVPR), IEEE, 2017.
  3. Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. arXiv preprint arXiv:1612.00593, 2016.
  4. Lyne P. Tchapmi, Christopher B. Choy, Iro Armeni, JunYoung Gwak, and Silvio Savarese. Segcloud: Semantic segmentation of 3d point clouds. CoRR, abs/1710.07563, 2017.
  5. Loïc Landrieu and Martin Simonovsky. Large-scale point cloud semantic segmentation with superpoint graphs. CoRR, abs/1711.09869, 2017.
  6. Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. arXiv preprint arXiv:1706.02413, 2017.
  7. Y. Li, R. Bu, M. Sun, and B. Chen. PointCNN. ArXiv e-prints, January 2018.

Prof. Cewu Lu is a research Professor at Shanghai Jiao Tong University, leading Machine Vision and Intelligence Group. He is also one of MIT TR35 -"MIT Technology Review, 35 Innovators Under 35 (China)". He was Postdoc at Stanford AI lab (under Fei-Fei Li and Leonidas Guibas) and selected as the 1000 Overseas Talent Plan (Young Talent) (中组部青年千人计划).

本文为机器之心发布,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-07-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

深度 | 如何使用神经网络弹奏出带情感的音乐?

机器之心(海外)原创 作者:Shixin Gu 参与:Joni、Nurhachu Null 神经网络在音乐方面的应用已经不是一个新鲜的话题了。在音频检索领域中...

3068
来自专栏机器之心

AAAI 2018 | 三星提出移动端神经网络模型加速框架DeepRebirth

3768
来自专栏AI研习社

禅与奶罩识别艺术(上)

在昨天的卷积:如何成为一个很厉害的神经网络 - 知乎专栏中,热心网友提出了这样的问题: ? 该文在卷积神经网络的构成上讲解的比较直观,但是没有深入地探讨数学原理...

3826
来自专栏AI科技评论

动态 | 谷歌发布TensorFlow Lattice:得益于先验知识,提升模型泛化能力

AI科技评论消息:近日,谷歌科学家发布TensorFlow Lattice,这是一套预建的TensorFlow Estimators,易于使用,它相当于是Ten...

35810
来自专栏SIGAI学习与实践平台

机器学习发展历史回顾

机器学习是现阶段解决很多人工智能问题的主流方法,作为一个独立的方向,正处于高速发展之中。最早的机器学习算法可以追溯到20世纪初,到今天为止,已经过去了100多年...

2373
来自专栏新智元

一文读完GitHub30+篇顶级机器学习论文(附摘要和论文下载地址)

作者:常佩琦 弗格森 【新智元导读】 今天介绍Github上的开源项目,专门用于更新最新的研究突破,具体说来,就是什么算法在哪一个数据集上取得了state-of...

47711
来自专栏WindCoder

探索监督式机器学习算法

这周送来一篇python实现的机器学习的相关文章。一起学习吧。能力有限,一切以英文原文为准。里面部分公式改好好久,总是有一些变不过来,这些暂时看英文里面的吧。

1171
来自专栏机器之心

前沿 | Neuromation新研究:利用卷积神经网络进行儿童骨龄评估

Alexander 的论文《Pediatric Bone Age Assessment Using Deep Convolutional Neural Netw...

1542
来自专栏新智元

【资源】用深度学习解决自然语言处理中的7大问题,文本分类、语言建模、机器翻译等

【新智元导读】自然语言处理领域正在从统计学方法转向神经网络方法。在自然语言中,仍然存在许多具有挑战性的问题。但是,深度学习方法在某些特定的语言问题上取得了sta...

33411
来自专栏AI2ML人工智能to机器学习

一挑三 FJ vs KKT

在解决最优化问题时候, Fermat 在1629年就解决了无限制最小问题, 但是一直过了靠近160年, 才有Lagrange解决等式约束的最值问题, 然后再过了...

1031

扫码关注云+社区

领取腾讯云代金券