全球最大的3D数据集公开了!标记好的10800张全景图 | 附论文

原作:Matt Bell 安妮 编译自 Hacker Noon 量子位 出品 | 公众号 QbitAI

你一定不想错过这个全球最大的公开3D数据集。

本文作者为Matt Bell,是3D扫描解决方案提供商Matterport的联合创始人、首席战略官。在本文中,Bell亲述Matterport公开的这个数据集细节,我们随他去看看。

一路走来,Matterport见证了3D数据集在深度学习多领域的巨大力量。我们在这个领域研究了很久,希望将一部分数据分享给研究者使用。令人兴奋的是,斯坦福、普林斯顿、TUM等的研究人员联手给大量的空间打了些标签,并将标记数据以Matterport 3D数据集的形式公开出来。

这是目前世界上最大的3D公开数据集,其中的标注意义重大。

像ImageNet、COCO这种比较大的2D数据集创建于2010年左右,是高精2D图像分类系统工具。我们希望Matterport这种3D+2D的数据集也能提升AI系统的认知力、理解力,带动3D研究的发展。

Matterport的行业影响力巨大,从增强现实、机器人技术、3D重构到更好地理解3D图像,我们一直在推进。

数据集“魔盒”

数据集中包含了10800张尺寸相同的全景图(RGB+深度图像),这些图片是从90个建筑场景的194400张RGB色彩模式的深度图像中挑选出来的,图像均用Matterport的Pro 3D相机拍摄。

这些场景的3D模型已经用实例级对象分割做了标记,你可以在 https://matterport.com/gallery 网站中交互式探索不同的Matterport 3D重建模型。

几种不同的解锁姿势

很高兴地告诉大家,这个数据集非常实用。下面我将介绍Matterport研究的几个方向。

目前,我们内部用这个数据集做过这样一个系统,将用户拍摄的照片分割成房间,并将其分类。这个系统的表现不错,甚至在没有门或隔断隔开情况下,也能分辨出不同的房间类型(例如厨房和餐厅)。

此外,我们也在学习用深度学习方法填充3D传感器够不到的区域。这方便了用户快速拍摄广阔的开放空间,如仓库、购物中心、商业地产、工厂和新类型的房间等。

不妨看一个简单的示例。在这个例子中,我们的算法通过颜色和局部深度,预测深度值和深度传感器的表面方向(法向量)。由于这些区域太远,无法被深度传感器探测到。

其实,我们还能用它在用户拍摄的空间中划分出不同对象。与现在3D模型不同的是,这些完全分割的模型能精确识别空间中的物体。这样就解锁了很多使用姿势,包括自动生成含有空间内容和特征的详细列表,并自动看到不同家具在空间中的样子。

我们还有个小目标,比如让任何空间能够被索引、搜索、排序和理解,让用户找到想要的东西。

比如,你想找到个地方度假,你希望那里有三间大卧室,配备着现代化厨房,客厅内还有内置的壁炉,在阳台上能看到下面的池塘风景,还有一扇落地窗?我们可以做到。

比如,你想盘点办公室里所有家具,想比较建筑工地上的管道和CAD模型是否一致?也so easy。

论文中还展示了一系列其他用例,包括通过深度学习的特性提高特征匹配、二维图像的表面法向量估计,以及识别基于体素模型的架构特征和对象等。

我们的下一步

正如上面所说,你可以使用这些数据、代码和论文,我们很愿意听听大家是如何使用它们的,也很期待与研究机构合作开展一些项目。

如果你对3D和更大的数据集感兴趣,也欢迎加入我们,感谢参与项目的所有人。

最后,附数据集地址:

https://niessner.github.io/Matterport/

Code地址:

https://github.com/niessner/Matterport

论文下载地址:

https://arxiv.org/pdf/1709.06158.pdf

欢迎来到3D世界!

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-09-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

Top 50!2017年机器学习热门文章精选

【导读】1月26日,Mybridge发布一篇看2017年热门网文入门机器学习应用开发。作者总结了2017年1月到12月近2万篇文章,从中选取前50名分享给大家。...

3785
来自专栏数据派THU

数据变金矿:一文读懂序列模型(附用例)

众所周知,人工神经网络(ANN)的设计思路是模仿人脑结构。但是直到10年前,ANN和人类大脑之间唯一的共同点是对实体的命名方式(例如神经元)。由于预测能力较弱并...

851
来自专栏IT大咖说

游戏AI领域,机器人技术的研究与应用

内容来源:2018 年1月5日,深奇智慧联合创始人高扬在“2018移动技术创新大会”进行《游戏机器人的研究与应用》演讲分享。IT 大咖说(微信id:itdaka...

2157
来自专栏企鹅号快讯

计算机视觉:让冰冷的机器看懂多彩的世界

作者:微软亚洲研究院 链接:https://www.guokr.com/article/439945/ 2010年,来自斯坦福大学、普林斯顿大学及哥伦比亚大学的...

4579
来自专栏AI科技评论

学界 | 微软研究员提出多束深度吸引子网络,解决语音识别「鸡尾酒会问题」

或许这也是一种方法论:当针对一个问题有多种方法时,不妨将它们综合起来,或能取各家之长,补各家之短。

972
来自专栏EAWorld

AIDevOps离我们有多远?

本文目录: 一、写在前面 二、AIDevOps,未来已来 三、AIDevOps的方法 四、学术界的研究启示 五、距离AIDevOps还有多远? 六、参考文献 一...

4066
来自专栏机器之心

线性代数与张量?这本开放书籍帮你扫清通往ML的数学绊脚石

项目地址:https://web.stanford.edu/~boyd/vmls/

942
来自专栏企鹅号快讯

Google工程师:谷歌翻译在几个月内效果明显提升的秘诀

编辑|Vincent,Emily 近日,一位网友在知乎提问:谷歌翻译这几个月的进化速度突然加快是什么原因?问题链接: https://www.zhihu.com...

19910
来自专栏数据科学与人工智能

【数据挖掘】数据挖掘中应该避免的弊端

1. 缺乏数据(Lack Data) 对于分类问题或预估问题来说,常常缺乏准确标注的案例。 例如:欺诈侦测(Fraud Detection):在上百万的交易中...

2868
来自专栏AI科技评论

干货 | 5年提速500倍,英伟达GPU创纪录突破与技术有哪些?

英伟达 Volta Tensor Core GPU 在深度学习社群取得了哪些巨大突破?这些突破背后有什么核心技术?

1353

扫码关注云+社区

领取腾讯云代金券