资源 | MIT 新发布大型数据集 ADE20K:用于场景感知、语义理解等多种任务

选自CSAIL

机器之心编译

参与:黄小天、Smith

近日,MIT 通过官网发布了一款名为 ADE20K 的数据集,可用于场景感知、解析、分割、多物体识别和语义理解。整个数据集(包含所有的图像和分割在内)的大小为 3.8Gb。MIT 从下载、描述、浏览、评估等方面对该数据做了扼要介绍。机器之心对原文进行了编译,数据集下载地址及原文链接请见文中。

项目地址:http://groups.csail.mit.edu/vision/datasets/ADE20K/

数据集下载页面

描述

图像和注解

每个文件夹包含通过场景范畴进行分类的图像。对于每一张图像,目标和部件分割被存储为两种不同的 png 文件。所有的图像和部件示例都被分别注释。

浏览

已注释图像涵盖了 SUN 和 Places 数据集中的场景范畴。下面是一些展示图像、目标分割和部件分割的示例。你也可以通过 ADE20K 浏览器浏览其他图像。

下面的可视化给出了目标、部件和注释示例的数量的列表。树状表只展示了带有超过 250 个注解示例的目标,以及带有超过 10 个注解示例的部件。

一些类别可以既是目标,也是部件。例如,一个「门」可以是一个目标(在一张室内图片中)或者一个部件(当它是车的一个门时)。一些目标经常是部件(比如一条腿、一只手),尽管在某些情况下它们看起来与整体是相互独立的(比如车库中的汽车轮子);而有些目标则永远不是部件(比如一个人,一辆卡车等等)。依据于部件所属的目标,相同的名称类别(比如门)可对应于若干个视觉范畴。例如,一个汽车的门从视觉上看是不同于一个橱柜的门的。然而它们也共享一些相似的可供性(affordance)。proportionClassIsPart(c) 的值可以用来决定一个分类是否主要作为一个目标或一个部件。当目标不是另一个目标的一个部件时,其分割掩码将出现在 * _seg.png 内。如果分类是一个部件,则分割掩码将出现在 * _seg_parts.png 内。正确检测目标需要区分目标是否表现为独立目标,或者是否是另一目标的一个部件。

评估

使用验证集评估你的算法。你可以使用评估工具包进行场景解析挑战。

数据集偏差

在训练集中:

  • 图像的中值长宽比为 4/3。
  • 图像中值大小为 307200 像素。平均图像大小为 1.3M 像素。
  • 目标分割的模式如下所示,包含四个目标(从上到下):天空、墙、建筑和地板。
  • 部件分割的模式包含两个分类:窗户和门。

在测试集中:

  • 当简单地使用模式来分割图像时,它平均获得验证集中的每个图像的像素的 20.3%。
  • 在验证集中,IoU(The Intersection over Union)对于表现在分割模式中的四个分类是:

注释噪音分析

为了分析注释的连贯性,我们采用了一个包含从验证集中随机选取的 64 张图像的子集,并要求对其再次进行注释。这些图像中的 20 个通过两个外部注释器进行注释。我们会期望两个注释之间存在一些差别,甚至是在任务被同一个人完成的情况下。通常 82% 的像素获得了相同的标注。下图展示了由同一个注释器完成的一张图片和两个分割。

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-07-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

【业界】自动机器学习的数据准备要素——分析行业重点

数据准备对于任何分析、商业智能或机器学习工作都是至关重要的。尽管自动机器学习提供了防止常见错误的保护措施,并且足够健壮地来处理不完美的数据,但是你仍然需要适当地...

3144
来自专栏吉浦迅科技

【在线视频】如何在GPU上进行混合精度训练

使用精度低于FP32的系统可以减少内存使用,允许部署更大的网络。数据传输需要更少的时间,而且计算性能会提高,尤其是在NVIDIA gpu上,它的Tensor C...

4321
来自专栏量化投资与机器学习

【年度系列】使用Tensorflow预测股票市场变动

我们将使用Tensorflow创建和开发一个简单的模型框架,以及提出一些对初步结果改进的意见。

1853
来自专栏机器之心

业界 | 现代「罗塞塔石碑」:微软提出深度学习框架的通用语言

选自arXiv 作者:Ilia Karmanov等 机器之心编译 参与:路雪、刘晓坤、白妤昕 深度学习框架就像语言一样:很多人会说英语,但每种语言都有自己的特殊...

3494
来自专栏磐创AI技术团队的专栏

使用Keras进行深度学习:(六)LSTM和双向LSTM讲解及实践

3144
来自专栏新智元

【重磅】百度开源分布式深度学习平台,挑战TensorFlow (教程)

【新智元导读】今天百度开源深度学习平台Paddle。业内人士纷纷点赞:Paddle代码简洁、设计干净,没有太多的abstraction,速度比Tensorflo...

1.1K7
来自专栏AI研习社

如何用PyTorch训练图像分类器

如果你刚刚开始使用PyTorch并想学习如何进行基本的图像分类,那么你可以参考本教程。它将介绍如何组织训练数据,使用预训练神经网络训练模型,然后预测其他图像。

1692
来自专栏AI科技大本营的专栏

深度学习框架哪家强?MXNet称霸CNN、RNN和情感分析,TensorFlow仅擅长推断特征提取

深度学习框架哪家强:TensorFlow?Caffe?MXNet?Keras?PyTorch?对于这几大框架在运行各项深度任务时的性能差异如何,各位读者不免会有...

3883
来自专栏QQ大数据团队的专栏

神盾推荐——离线算法平台

1.9K7
来自专栏鸿的学习笔记

深度学习性能分析(下)

我们分析了TX1设备的系统内存消耗,它使用CPU和GPU的共享内存。 图5显示最大系统内存使用量初始为常数,然后随批量大小增加。这是由于网络模型的初始存储器分配...

921

扫码关注云+社区

领取腾讯云代金券