【干货】二十五个深度学习相关公开数据集

(选自Analytics Vidhya;作者:Pranav Dar;磐石编译)

目录

  • 介绍
  • 图像处理相关数据集
  • 自然语言处理相关数据集
  • 语音处理相关数据集
  • Supplement

一.介绍

通常来说,深度学习的关键在于实践。从图像处理到语音识别,每一个细分领域都有着独特的细微差别和解决方法。

然而,你可以从哪里获得这些数据呢?现在大家所看到的大部分研究论文都用的是专有数据集,这些专有数据集又通常不会公开。那么,想实践那些最新的理论方法往往就成了难题。

如果你也遇到了这样的问题,接下来我们会提供了一系列可用的公开数据集给大家。

在本文中,我们列出了一系列高质量的数据集,每个深度学习爱好者都可以使用这些数据集来提高自己的能力。应用这些数据集将使您成为一名更好的数据科学家,并且您从中获得的东西将在您的职业生涯中具有无可估量的价值。我们还收录了具有当前最好结果(SOTA)的论文,供您浏览并改进您的模型。

如何使用这些数据集?

首先要做的事:这些数据集的规模很大!所以请确保你的网络够快,确保下载没有任何限制。

有很多种方式可以使用这些数据集。比如:你可以使用它们来锻炼你的各种深度学习方法技巧;你可以使用它们来磨练你的技能,了解如何识别和构建每个问题,思考独特的使用案例和公布你的新发现!

数据集分为三类:图像处理相关数据集,自然语言处理相关数据集和语音处理相关数据集。

二.图像处理相关数据集

1. MNIST (https://datahack.analyticsvidhya.com/contest/practice-problem-identify-the-digits/)

MNIST是最受欢迎的深度学习数据集之一。它是一个手写数字数据集,包含一个60,000个样本的训练集和一个10,000个样本的测试集。这是一个很不错的数据集,它可用于在实际数据中尝试学习技术和深度识别模式,并且它花费极少的时间和精力在数据预处理上。

大小:约50 MB

数量: 10个类别,70,000张图片

SOTA:Dynamic Routing Between Capsules

(https://arxiv.org/pdf/1710.09829.pdf)

2. MS-COCO

(https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit_v2&action=edit&isNew=1&type=10&token=1276755825&lang=zh_CN#home)

COCO是一个可用于object detection, segmentation and caption的大型数据集。有以下特点:

  • 目标分割
  • 上下文关系识别
  • 超像素分割
  • 330K图像(> 200K已标记)
  • 150万个目标
  • 80个分类
  • 91种目标
  • 每张图片5个字幕
  • 包含250,000个人(已标记)

大小:约25 GB(压缩包)

数量: 330K张图像,80个对象类别,每个图像5个描述,25万个人(已标记)

SOTA: Mask R-CNN

(https://arxiv.org/pdf/1703.06870.pdf)

3. ImageNet

(https://arxiv.org/pdf/1703.06870.pdf)

ImageNet是基于WordNet层次结构组织的图像数据集。WordNet包含约100,000个短语,ImageNet平均提供了约1000个图像来说明每个短语。

大小:约150GB

数量:图像总数约1,500,000; 每个都有多个边界框和相应的类标签。

SOTA: Aggregated Residual Transformations for Deep Neural Networks

(https://arxiv.org/pdf/1611.05431.pdf)

4. Open Images Dataset

(https://github.com/openimages/dataset)

Open Images Dataset是一个包含超过900万个链接图像的数据集。其中包含9,011,219张图像的训练集,41,260张图像的验证集以及125,436张图像的测试集。它的图像种类跨越数千个类别,且有图像层级的标注框进行注释。

大小: 500 GB(压缩包)

数量: 9,011,219张超过5k标签的图像

SOTA: Resnet 101 image classification model (trained on V2 data):Model checkpoint, Checkpoint readme, Inference code.

(https://storage.googleapis.com/openimages/2017_07/oidv2-resnet_v1_101.ckpt.tar.gz)

5. VisualQA (http://www.visualqa.org/)

VQA是一个包含有关图像的开放式问题的数据集。这些问题需要理解视野和语言。有以下有意思的特点:

  • 265,016张图片(COCO和抽象场景)
  • 每张图片至少有3个问题(平均5.4个问题)
  • 每个问题10个基本事实
  • 每个问题3个似乎合理(但可能不正确)的答案
  • 指标自动评估

大小: 25 GB(压缩包)

数量: 265,016张图片,每张图片至少3个问题,每个问题10个基本事实

SOTA: Tips and Tricks for Visual Question Answering: Learnings from the 2017 Challenge(https://arxiv.org/abs/1708.02711)

6. The Street View House Numbers (SVHN)

(http://ufldl.stanford.edu/housenumbers/)

这是一个为训练目标检测算法而“真实”存在的一个图像数据集--来自于谷歌街景中的房屋号码。它对图像预处理和格式要求较低。与上边提到的MNIST数据集类似,但SVHN包含更多的标记数据(超过600,000个图像)。

大小: 2.5 GB

数量: 10个类别,共6,30,420张图片

SOTA:Distributional Smoothing With Virtual Adversarial Training(https://arxiv.org/pdf/1507.00677.pdf)

7. CIFAR-10

(http://www.cs.toronto.edu/~kriz/cifar.html)

这个数据集是图像分类的另一个神级入门数据集。它由10个类别60,000个图像组成(每个类在上图中表示为一行)。总共有50,000个训练图像和10,000个测试图像。数据集分为6个部分 - 5个训练批次(training batches)和1个测试批次(test batches)。每个批次(batch)有10,000个图像。

大小:170 MB

数量:10个类别,共60,000张图片

SOTAShakeDrop regularization(https://openreview.net/pdf?id=S1NHaMW0b)

8. Fashion-MNIST (https://github.com/zalandoresearch/fashion-mnist)

Fashion-MNIST包含60,000个训练图像和10,000个测试图像。它是一个类似MNIST的时尚产品数据库。开发人员认为MNIST已被过度使用,因此他们将其作为该数据集的直接替代品。每张图片都以灰度显示,并与10个类别的标签相关联。

大小:30 MB

数量:10个类,70,000张图片

SOTA:Random Erasing Data Augmentation(https://arxiv.org/abs/1708.04896)

三.自然语言处理相关数据集

1.IMDB Reviews

(http://ai.stanford.edu/~amaas/data/sentiment/)

这对电影爱好者来说是一个极棒的数据集。它可用于着二元情感分类,并具有比此领域以前的任何数据集更多的数据。除了用于训练和测试评论数据外,还有更多未标记的数据可供使用。同时该数据集还包含原始文本和预处理单词格式包。

大小:80 MB

数量:25,000条高质量影评用于训练,25,000条用于测试

SOTA:Learning Structured Text Representations https://arxiv.org/abs/1705.09207

https://arxiv.org/abs/1705.09207

2.Twenty Newsgroups

https://archive.ics.uci.edu/ml/datasets/Twenty+Newsgroups

顾名思义,该数据集包含着新闻组相关的文本数据信息。这二十个新闻组数据集合收集了大约20,000新闻组文档,均匀的分布在20个不同的集合。这些文档具有新闻的典型特征:主题,作者和引述。

大小:20 MB

数量:来自20个新闻组的20,000条消息

SOTA:Very Deep Convolutional Networks for Text Classification (https://arxiv.org/abs/1606.01781)

3.Sentiment140 (http://help.sentiment140.com/for-students/)

Sentiment140是一个可用于情感分析的数据集。使用这个流行数据集来开启你的NLP旅程是完美的。情绪信息已经从数据中预先删除。最终的数据集具有以下6个特征:

  • 推文的感情色彩(polarity)
  • 推文的ID
  • 推文的日期
  • 推特(tweeter)的用户名
  • 推文的文本内容

大小:80 MB(压缩包)

数量:160,000条推文

SOTA:Assessing State-of-the-Art Sentiment Models on State-of-the-Art Sentiment Datasets http://www.aclweb.org/anthology/W17-5202

4.WordNet https://wordnet.princeton.edu/

在上面的ImageNet数据集中提到,WordNet是一个包含英文synsets的大型数据库。Synsets是指同义词组,每个描述不同的概念。 WordNet的结构使其成为NLP非常有用的工具。

大小:10 MB

数量:通过少量“概念联系”将117,000个同义词集与其他同义词集相关联。

SOTA:Wordnets: State of the Art and Perspectives

https://aclanthology.info/pdf/R/R11/R11-1097.pdf

5.Yelp Reviews https://www.yelp.com/dataset

这是Yelp(美国最大的点评网站)为了学习目的而发布的一个公开数据集。它由数百万用户评论、商业类型和来自多个大型城市的超过20万张照片组成。这在全球都是一个非常常用的NLP挑战级数据集。

大小:2.66 GB JSON,2.9 GB SQL and 7.5 GB Photos(全部已压缩)

数量:5,200,000条评论,174,000条商业类型,20万张图片和11个大型城市

SOTA:Attentive Convolution

6.The Wikipedia Corpus

https://arxiv.org/pdf/1710.00519.pdf

该数据集是维基百科全文的集合。它包含来自400多万篇文章的将近19亿单词。这是个强大的NLP数据集--你可以通过单词,短语或段落来进行检索。

大小:20 MB

数量:4,400,000篇文章,19亿单词

SOTA:Breaking The Softmax Bottelneck: A High-Rank RNN language Model https://arxiv.org/pdf/1711.03953.pdf

7.The Blog Authorship Corpus

http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm

此数据集包含来自数千名博主的博文(收集自blogger.com)。每篇博客都作为一个单独的文件提供。每篇博客至少有着200个常用英语单词。

大小:300 MB

数量:681,288博文,超过1.4亿单词

SOTA:Character-level and Multi-channel Convolutional Neural Networks for Large-scale Authorship Attribution https://arxiv.org/pdf/1609.06686.pdf

8.Machine Translation of Various Languages

http://statmt.org/wmt18/index.html

该数据集包含四种欧洲语言的训练数据。可用于改进当前的翻译方法。有以下语言互译可供参考:

  • 英汉和汉英
  • 英语 - 捷克语和捷克语 - 英语
  • 英语 - 爱沙尼亚语和爱沙尼亚语 - 英语
  • 英语 - 芬兰语和芬兰语 - 英语
  • 英语 - 德语和德语 - 英语
  • 英语 - 哈萨克语和哈萨克语 - 英语
  • 英文 - 俄文和俄文 - 英文
  • 英语 - 土耳其语和土耳其语 - 英语

大小:约15 GB

数量:约30,000,000个句子及其翻译

SOTA:Attention Is All You Need https://arxiv.org/abs/1706.03762

四.语音处理相关数据集

1.Free Spoken Digit Dataset

https://github.com/Jakobovski/free-spoken-digit-dataset

此列表中的另一个与MNIST数据集相似的数据集!为了解决自然语言处理中的数字识别任务而创建。这是一个公开的数据集,并且希望随着人们贡献更多样本来获得持续增长。目前,它包含以下特点:

  • 3个录音者
  • 1500条录音(每个人每个数字50遍
  • 英式发音

大小:10 MB

数量:1500条音频

SOTA:Raw Waveform-based Audio Classification Using Sample-level CNN Architectures https://arxiv.org/pdf/1712.00866

2.Free Music Archive (FMA) https://github.com/mdeff/fma

FMA是一个音乐分析数据集。数据集由音频(full-length and HQ),预先计算的特征( pre-computed features)以及音轨和用户级元数据(metadata)组成。它是一个公开数据集,用来评估MIR中的多项任务。以下是其包含的csv文件列表:

  • tracks.csv:包含所有(106,574首)曲目的基本信息--ID,标题,艺术家,流派,标签和播放次数。
  • genres.csv:163种流派的ID(包含名称和之间的关系)
  • features.csv:基本特征(使用librosa(https://librosa.github.io/librosa/)提取)。
  • echonest.csv:由Echonest(现在的Spotify)为13129首曲目提供的音频特征。(http://the.echonest.com/) (https://www.spotify.com/)

大小:约1000 GB

数量:约100,000曲目(tracks)

SOTA:Learning to Recognize Musical Genre from Audio

https://arxiv.org/pdf/1803.05337.pdf

3.Ballroom http://mtg.upf.edu/ismir2004/contest/tempoContest/node5.html

该数据集由来自舞厅的音频数据组成。以实际音频格式提供了许多舞蹈风格的一些音频片段。有以下特点:

  • 总数:698
  • 单个时长:约30秒
  • 总时长:约20940秒

大小:14GB(压缩)

数量:约700个音频样本

SOTA: A Multi-Model Approach To Beat Tracking Considering Heterogeneous Music Styles https://pdfs.semanticscholar.org/0cc2/952bf70c84e0199fcf8e58a8680a7903521e.pdf

4.Million Song Dataset https://labrosa.ee.columbia.edu/millionsong/

百万歌曲数据集是由一百万首当代流行音乐曲目的音频特征和元数据组成。其目的是:

  • 鼓励对扩展到商业规模的算法进行研究
  • 为评估研究提供参考数据集
  • 作为使用API创建大型数据集的替代方法(e.g. The Echo Nest)
  • 帮助新研究人员在MIR领域开始工作

数据集的核心是一百万首歌曲的特征分析和元数据。该数据集不包含任何音频,只包含派生的特征。样本音频可以通过使用哥伦比亚大学提供的代码从7digital等服务器上获取。https://labrosa.ee.columbia.edu/millionsong/ http://www.7digital.com/

大小:280 GB

数量:一百万首歌曲哦!

SOTA: Preliminary Study on a Recommender System for the Million Songs Dataset Challenge http://www.ke.tu-darmstadt.de/events/PL-12/papers/08-aiolli.pdf

5.LibriSpeech http://www.openslr.org/12/

该数据集是包含约1000小时英语音频的大型语料库。这些数据来自LibriVox项目的有声读物(audiobooks),且已经过分割、对齐处理。如果您恰好想入门这个领域,请查看已准备好的声学模型(已在kaldi-asr.org和语言模型上进行了训练且适合评估),网址为http://www.openslr.org/11/ http://www.kaldi-asr.org/downloads/build/6/trunk/egs/

大小:约60 GB

数量:1000小时音频

SOTA: Letter-Based Speech Recognition with Gated ConvNets https://arxiv.org/abs/1712.09444

6.VoxCeleb https://mp.weixin.qq.com/cgi-bin/VoxCeleb

VoxCeleb是一个大型的语音识别数据集。它由来自YouTube视频中的1,251名明星所讲的约10万句话组成。这些数据性别分布均衡(男性占55%),名人跨越不同的口音、职业和年龄,训练集和测试集之间没有重叠。通过这个数据集可以实现一个有趣的应用--区分和识别超级巨星

大小:150 MB

数量:1,251位名人的100,000条话语

SOTA:VoxCeleb: a large-scale speaker identification dataset https://www.robots.ox.ac.uk/~vgg/publications/2017/Nagrani17/nagrani17.pdf

五.Supplement

Analytics Vidhya Practice Problems:

为了帮助练习,我们还提供了来自DataHack平台,三个更贴近生活的题目(包含问题+数据集)供练手。当然,肯定是深度学习相关,如下:

1.Twitter Sentiment Analysis https://datahack.analyticsvidhya.com/contest/practice-problem-twitter-sentiment-analysis/ 含有种族主义和性别歧视言论的推文的处理已成为twitter的难题,那么区分识别这些推文就成了twitter的重要任务。在这个实际问题中,我们提供正常推文与非正常推文两种Twitter数据。你的任务是正确区分这些推文。 大小:3 MB 数量:31,962条推文 2.Age Detection of Indian Actors https://datahack.analyticsvidhya.com/contest/practice-problem-age-detection/ 对于任何深度学习爱好者来说,这都是一个令人着迷的挑战。该数据集由数千个印度演员的图片组成,你的任务是确定他们的年龄。所有图像都是从视频帧中人工剪切的,这致使尺度,姿态,表情,亮度(illumination),年龄,分辨率,遮挡和妆容具有高度可变性。 大小:48 MB(压缩包) 数量:训练集19,906幅图像和测试集6636幅图像 SOTA:Hands on with Deep Learning – Solution for Age Detection Practice Problem https://www.analyticsvidhya.com/blog/2017/06/hands-on-with-deep-learning-solution-for-age-detection-practice-problem/ 3. Urban Sound Classification https://datahack.analyticsvidhya.com/contest/practice-problem-urban-sound-classification/ 这个数据集包含超过8000个来自10个类别的城市声音片段。这个实际问题旨在向你介绍对常用分类场景的音频处理。 大小:训练集 - 3 GB(压缩),测试集 - 2 GB(压缩) 数量:10个类别,8732个城市声音片段(单个片段时长<= 4s,已标注)

---- 写在最后:如果你知道其他公开数据集,可以告诉我们(说明推荐原因、详细用途等等)。 如果理由充分,我会把它们列入清单。来评论里讨论你们的使用感受吧。深度学习万岁! (编译自:https://www.analyticsvidhya.com/blog/2018/03/comprehensive-collection-deep-learning-datasets/)

原文发布于微信公众号 - 磐创AI(xunixs)

原文发表时间:2018-04-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

数据分析秘籍在这里:Kaggle 六大比赛最全面解析(上)

AI 研习社按,Kaggle 上有各式各样的数据挖掘类比赛,很多参赛者也乐于分享自己的经验,从他人的经验中进行总结归纳,对自己的实践也非常重要。

17930
来自专栏灯塔大数据

人人都会用到的数据可视化之常用图表类型

文章介绍 “数据可视化”可以帮助用户理解数据,一直是热门方向。 图表是”数据可视化”的常用手段,其中又以基本图表——柱状图、折线图、饼图等等最为常用。 ? 用...

29860
来自专栏斑斓

概率学中的随机变量与分布

随机变量 Random Variables 如果一个变量的值存在一个与之相关联的概率分布,则称该变量为“随机变量(Random Variable)”。数学上更...

33330
来自专栏Albert陈凯

机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)

机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1) 注:机器学习资料篇目一共500条,篇目二开始更新...

49880
来自专栏大数据文摘

追剧学AI (6) | 概率论在机器学习中的迁移运用,手把手建一个垃圾邮件分类器

16020
来自专栏机器之心

从技术到产品,苹果Siri深度学习语音合成技术揭秘

选自苹果 机器之心编译 参与:蒋思源、李亚洲、路雪 Siri 是一个使用语音合成技术与人类进行交流的个人助手。从 iOS 10 开始,苹果已经在 Siri 的语...

32470
来自专栏专知

一文看全ACL 2018亮点:表示学习和更具挑战性环境下的模型评价

【导读】第56届ACL大会于2018年7月15日至20日在澳大利亚墨尔本举行,Sebastian Ruder参加了会议并发表了三篇论文,并分享了他的参会感想,点...

18800
来自专栏深度学习入门与实践

【机器学习Machine Learning】资料大全

  昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^)   推荐几本好书: 1.Pattern Recogni...

75950
来自专栏IT技术精选文摘

白话深度神经网络

近些年来,深度神经网络异常火爆,各种深度神经网络架构层出不穷。大有千树万树梨花开,各领风骚数小时的趋势!

13310
来自专栏数据派THU

资源 | 25个深度学习开源数据集,have fun !

28850

扫码关注云+社区

领取腾讯云代金券