专栏首页数据派THU自然语言处理数据集免费资源开放(附学习资料)

自然语言处理数据集免费资源开放(附学习资料)

作者:Jason Brownlee

翻译:梁傅淇

本文长度为1500字,建议阅读3分钟

本文提供了七个不同分类的自然语言处理小型标准数据集的下载链接,对于有志于练习自然语言处理的新手而言,是极有帮助的资源。

在你刚开始入手自然语言处理任务时,你需要数据集来练习。

最好是使用小型数据集,这样你可以快速下载,也不用花费很长的时间来调试模型。同时,使用被广泛使用和了解的标准数据集也是有所帮助的,你可以用你的结果来做比较,看一下是否有所进步。

在这篇博文中,你会找到一系列标准数据集来开始你的深度学习之旅。

总览

这篇博文被分成七个部分,它们是:

1. 文本分类(Text Classification)

2. 语言模型(Language Modeling)

3. 图像字幕(Image Captioning)

4. 机器翻译(Machine Translation)

5. 问答系统(Question Answering)

6. 语音识别(Speech Recognition)

7. 自动文摘(Document Summarization)

我已经尝试提供一系列被广泛使用于学术论文且规模适中的数据集。

几乎所有的数据集都是公开免费下载的。

如果你最喜欢的数据集没有被列出来,又或者你认为你所了解的更好的数据集应该被列出来的话,请在评论里告诉我。

我们开始吧。

1. 文本分类(Text Classification)

文本分类指的是标记句子或者文档,比如说垃圾邮件分类和情感分析。

以下是一些对于新手而言非常棒的文本分类数据集:

  • Reuters Newswire Topic Classification(Reuters-21578)(http://kdd.ics.uci.edu/databases/reuters21578/reuters21578.html)。

一系列1987年在路透上发布的按分类索引的文档。同样可以看RCV1,RCV2,以及TRC2

(http://trec.nist.gov/data/reuters/reuters.html)。

  • IMDB Movie Review Sentiment Classification (Stanford)(http://ai.stanford.edu/~amaas/data/sentiment/c)。

一系列从网站imdb.com上摘取的电影评论以及他们的积极或消极的情感。

  • News Group Movie Review Sentiment Classification (cornell)(http://www.cs.cornell.edu/people/pabo/movie-review-data/)。

更多的信息,可以从这篇博文中获取:Datasets for single-label text categorization

(http://ana.cachopo.org/datasets-for-single-label-text-categorization)。

2. 语言模型(Language Modeling)

语言模型涉及建设一个统计模型来根据给定的信息,预测一个句子中的下一个单词,或者一个单词中的下一个字母。这是语音识别或者机器翻译等任务的前置任务。

下面是一些对于新手来说非常棒的语言模型数据集:

  • Project Gutenberg (https://www.gutenberg.org/)。

以下是一些更正式的语料集:

  • Brown University Standard Corpus of Present-Day American English (https://en.wikipedia.org/wiki/Brown_Corpus)。

大型英语单词示例。

  • Google 1 Billion Word Corpus (https://github.com/ciprian-chelba/1-billion-word-language-modeling-benchmark)。

3. 图像字幕(Image Captioning)

图像字幕是为给定图像生成文字描述的任务。

以下是对新手非常有帮助的图像字幕数据集:

  • Common Objects in Context (COCO)(http://mscoco.org/dataset/#overview)。

超过120,000张带描述的图片集合。

  • Flickr 8K(http://nlp.cs.illinois.edu/HockenmaierGroup/8k-pictures.html)。

从flickr.com收集的超过8000带描述的图片集合。

  • Flickr 30K(http://shannon.cs.illinois.edu/DenotationGraph/)。

从flickr.com收集的超过30000带描述的图片集合。

要获得更多的资讯,可以看这篇博客:Exploring Image Captioning Datasets, 2016

(http://sidgan.me/technical/2016/01/09/Exploring-Datasets)。

4. 机器翻译(Machine Translation)

机器翻译即将一种语言翻译成另一种语言的任务。

以下是对新手而言很棒的机器翻译数据集:

  • Aligned Hansards of the 36th Parliament of Canada (https://www.isi.edu/natural-language/download/hansard/)。

英法对应的句子。

  • European Parliament Proceedings Parallel Corpus 1996-2011 (http://www.statmt.org/europarl/)。

一系列欧洲语言的成对句子。

被用于机器翻译的标准数据集还有很多:

  • Statistical Machine Translation (http://www.statmt.org/)。

5. 问答系统(Question Answering)

以下是对新手而言很棒的问答系统数据集:

  • Stanford Question Answering Dataset (SQuAD)(https://rajpurkar.github.io/SQuAD-explorer/)。

关于维基百科文章的问答。

  • Deepmind Question Answering Corpus

(https://github.com/deepmind/rc-data)。

有关Daily Mail的新闻问答。

  • Amazon question/answer data

(http://jmcauley.ucsd.edu/data/amazon/qa/)。

关于亚马逊产品的问答。

更多信息,参见:

Datasets: How can I get corpus of a question-answering website like Quora or Yahoo Answers or Stack Overflow for analyzing answer quality?

(https://www.quora.com/Datasets-How-can-I-get-corpus-of-a-question-answering-website-like-Quora-or-Yahoo-Answers-or-Stack-Overflow-for-analyzing-answer-quality)

6. 语音识别(Speech Recognition)

语音识别就是将口语语言的录音转换成人类可读的文本。

以下是对新手而言很棒的语音识别数据集:

  • TIMIT Acoustic-Phonetic Continuous Speech Corpus

(https://catalog.ldc.upenn.edu/LDC93S1)。

付费,这里列出是因为它被广泛使用。美语口语以及相关转写。

  • VoxForge(http://voxforge.org/)。

为语音识别而建设开源数据库的项目。

  • LibriSpeech ASR corpus

(http://www.openslr.org/12/)。

从LibriVox(https://librivox.org/)获取的英语有声书大型集合。

7. 自动文摘(Document Summarization)

自动文摘即产生对大型文档的一个短小而有意义的描述。

以下是对新手而言很棒的自动文摘数据集:

  • Legal Case Reports Data Set

(https://archive.ics.uci.edu/ml/datasets/Legal+Case+Reports)。

4000法律案例以及摘要的集合。

  • TIPSTER Text Summarization Evaluation Conference Corpus

(http://www-nlpir.nist.gov/related_projects/tipster_summac/cmp_lg.html)。

将近200个文档以及摘要的集合。

  • The AQUAINT Corpus of English News Text

(https://catalog.ldc.upenn.edu/LDC2002T31)。

并非免费,但却被广泛使用。新闻文章的语料库。

更多信息,参见:

Document Understanding Conference (DUC) Tasks

(http://www-nlpir.nist.gov/projects/duc/data.html)

Where can I find good data sets for text summarization?

(https://www.quora.com/Where-can-I-find-good-data-sets-for-text-summarization)

延伸阅读

如果你想了解更多,这部分提供额外的数据集列表:

  • Text Datasets Used in Research on Wikipedia

(https://en.wikipedia.org/wiki/List_of_datasets_for_machine_learning_research#Text_data)

  • Datasets: What are the major text corpora used by computational linguists and natural language processing researchers?

(https://www.quora.com/Datasets-What-are-the-major-text-corpora-used-by-computational-linguists-and-natural-language-processing-researchers-and-what-are-the-characteristics-biases-of-each-corpus)

  • Stanford Statistical Natural Language Processing Corpora

(https://nlp.stanford.edu/links/statnlp.html#Corpora)

  • Alphabetical list of NLP Datasets

(https://github.com/niderhoff/nlp-datasets)

  • NLTK Corpora(http://www.nltk.org/nltk_data/)
  • Open Data for Deep Learning on DL4J

(https://deeplearning4j.org/opendata)

原文链接:

https://machinelearningmastery.com/datasets-natural-language-processing/

原文标题:Code for my educational gifs

编辑:王璇

梁傅淇,软件工程本科在读,主修大数据分析,喜好搜索、收集各类信息。希望能在THU数据派平台认识更多对数据分析感兴趣的朋友,一起研究如何从数据挖掘出有用的模型和信息。

转载须知

如需转载文章,请做到 1、正文前标示:转自数据派THU(ID:DatapiTHU);2、文章结尾处附上数据派二维码。

申请转载,请发送邮件至datapi@tsingdata.com

本文分享自微信公众号 - 数据派THU(DatapiTHU),作者:数据派

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 自然语言处理领域重要研究及资源全索引!

    来源:机器之心 作者:Kyubyong Park 本文长度为3071字,建议阅读6分钟 本文为你整理自然语言处理最新深度研究成果。 自然语言处理(NLP)是人工...

    数据派THU
  • 独家 | 5个步骤开启你的数据科学职业生涯!(附链接)

    数据科学已经成为21世纪最热门的工作领域,但如何才能成为数据科学家呢? 作为一名有抱负的数据科学家,或是准备从事数据科学工作的学生,你应该做好哪些准备? 需要什...

    数据派THU
  • 独家 | 手把手教你学习R语言(附资源链接)

    作者:NSS 翻译:杨金鸿 术语校对:韩海畴 全文校对:林亦霖 本文约3000字,建议阅读7分钟。 本文为带大家了解R语言以及分段式的步骤教程! 人们学习R语言...

    数据派THU
  • 运动想象,脑电情绪等公开数据集汇总

    上述EEG公开数据集汇总整理参考Github用户:meagmohit,Github地址:https://github.com/meagmohit/EEG-Dat...

    脑机接口社区
  • 【推荐】新冠肺炎的最新数据集和简单的可视化和预测分析(附代码)

    https://github.com/CSSEGISandData/COVID-19

    黄博的机器学习圈子
  • 【Python环境】python数据挖掘领域工具包

    Python在科学计算领域,有两个重要的扩展模块:Numpy和Scipy。其中Numpy是一个用python实现的科学计算包。包括: 一个强大的N维数组对象Ar...

    陆勤_数据人网
  • Python机器学习工具包

    ? 作者 | 空木 来源 | CSDN社区 Python在科学计算领域,有两个重要的扩展模块:Numpy和Scipy。其中Numpy是一个用pytho...

    小小科
  • 【Python环境】Python机器学习库

    Python在科学计算领域,有两个重要的扩展模块:Numpy和Scipy。其中Numpy是一个用python实现的科学计算包。包括: 一个强大的N维数组对象Ar...

    陆勤_数据人网
  • 入门 | 从文本处理到自动驾驶:机器学习最常用的50大免费数据集

    Kaggle:一个数据科学竞赛网站,其中包含大量外部贡献的有趣数据集。你可以在它长长的列表中(https://www.kaggle.com/datasets)找...

    机器之心
  • 收集数据太困难?这里为你准备了 71 个免费数据集

    日前,KDnuggets 上的一篇文章总结了七十多个免费的数据集,内容涉及到政府、金融、卫生、新闻传媒等各个方面,除了这些数据,文中还提供数据提取地址。 AI ...

    AI研习社

扫码关注云+社区

领取腾讯云代金券