专栏首页BestSDK超大规模3D数据集ScanNet:让机器人,也可以拥有人类的感情

超大规模3D数据集ScanNet:让机器人,也可以拥有人类的感情

Angela Dai 是斯坦福大学的一名博士生,在 CVPR 上有一个 Spotlight talk,主要介绍 ScanNet,一个拥有标注过 3D 室内场景重构信息的大规模 RGB-D 数据集。

她最初的想法是,推动数据匮乏的机器学习算法的发展,特别是在 3D 数据上。3D 数据包含更多信息,比如比如大小和物体之间的距离。但 3D 数据更难获取,为其添加标注也更难,现在 3D 数据并不多。

Angela希望用 ScanNet 建立一个可扩展数据采集框架。他们首先需要收集 3D 重建数据,然后用有效的方式对数据进行标注,以便收集更多数据。目前团队已经收集约 1500 个 RGB-D 的视频序列,通过 iPad 应用加深度传感器而收集的。然后视频会被上传到服务器,并被自动重建。然后,视频会被给到亚马逊 Mechanical Turk,将标注工作众包出去。

数据标注是在一个给定的 3D 场景中,绘制出物体,例如,绘制一个椅子、桌子或者计算机,从而了解什么是什么,以及所在位置。每个图像通常需要 5 个人来标注。所得数据可以在做物体分类这样的训练任务时,作为标准参考。

ScanNet 数据集可以帮助直接在 3D 数据上训练算法。例如,如果有一个机器人在房间移动,它需要识别房间里有什么对象,而且不仅需要识别远处有一个物体,还要确定这个物体是什么。

Angela 和团队还在现实数据上做了几个场景理解的基准测试。因为现在已有的大型 3D 数据集都是合成的,这与现实世界收集的 3D 数据有很大不同。

通常情况下,如果你通过合成数据库来训练算法,当算法用于真实数据时效果不会太好,因为计算机并没有学习到现实世界的数据特征。现实中有很多噪音,很难观察到一个对象的全部特征。基准测试表明,计算机在真实数据中的训练效果,比在合成数据中的训练效果要好得多。真实数据以后会有更大的需求。

Angela 以前一直在研究 3D 重建,开发实时的 3D 重建系统,但她后来发现很难运用于实践中,因为缺少对于场景的语义理解。在一个场景中,人们会希望知道物体在哪个位置,到底是什么物体,这样还可以有虚拟助手或聊天机器人一样的东西,帮助做场景的交互。这也是她开发新的数据集的原因。

另外,除了众包标注任务,他们也希望能众包场景重建任务。除此之外,在语义理解方面还要做很多工作。但他们现在的任务是,解决物体识别。3D 场景数据未来还会有更多有趣的应用。

Angela 还很感兴趣于将真实世界的数据与合成的 CAD 模型相结合,相关联起来。这么做的一个好处是,合成数据比较容易获得而且易于操作,如果合成数据与真实数据建立了联系,那就可以让在模型上训练的系统,更容易迁移到真实数据上。

当然,更重要的任务是给 3D 数据赋予语义解释,这有利于使机器人更好地理解世界。

本文分享自微信公众号 - BestSDK(bestsdk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-07-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大数据虽好,可有哪些局限性?

    “每一场科学革命——从哥白尼的日心说模型到统计学和量子力学的兴起,从达尔文的进化和自然选择学说到基因理论——都是由于一件事,也只是由于一件事导致的,那就是数据的...

    BestSDK
  • 大数据剖析:算得出数字,算不出人性

    这是个“数据为王”的时代,数据失真却远比我们想象的要严重得多。不可否认,互联网的野蛮生长,少不了大数据为文化、生产提供参考和指南,大数据也的确为避免盲目出击立下...

    BestSDK
  • 中国对大数据神话存在四大误区

    当前,大数据已经充斥着经济社会发展的方方面面。大数据支撑下的“数字经济”,总量在2016年已经突破22万亿元,占GDP的比重超过30%。在互联网时代,似乎拥有了...

    BestSDK
  • 大数据金融应用在哪些方面?银行、证券、保险行业情况分析

    随着大数据技术的普及和广泛应用,金融大数据的应用已成为行业的热门趋势。在交易欺诈识别,精确营销,黑生产预防和控制,信贷消费,信贷风险估计,供应链财务,股票市场判...

    数据前沿
  • 个推CTO安森:我所理解的数据中台

    在前面两篇文章(《数据智能时代来临:本质及技术体系要求》和《多维度分析系统的选型方法》)之中,我们概括性地阐述了对于数据智能的理解,并根据工作中团队涉及到的多维...

    AI科技大本营
  • 数据蒋堂 | 大数据技术的4个E

    本文共1100字,建议阅读8分钟。 本文将大数据特点总结成4个E,可作为选择大数据技术解决方案的参考。

    数据派THU
  • 等保2.0与大数据安全

    网络安全等级保护是国家网络安全保障的基本制度基本策略和基本方法。2019年5月13日等保2.0正式发布,这是继2008年发布等保1.0十余年来继网络安全法实施后...

    牛油果
  • 大数据平台架构+ETL

    ETL,Extraction-Trasformation-Loading,即数据读取,转换,装载的过程,是构建数据仓库的重要环节。

    可爱见见
  • 上海联通“沃+”开放数据应用大赛全网开战

    上海联通“沃+”开放数据应用大赛全网开战 首次开放50万用户脱敏数据 打造DT时代智慧应用 中国最有价值的大数据资源在哪里?答案可能是在通信运营商。三大运营商记...

    小莹莹
  • 为什么这么多人都想学大数据?宁可放弃本职工作也要转行学习

    大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

    用户4151968

扫码关注云+社区

领取腾讯云代金券