专栏首页深度学习思考者深度学习数据集(一)

深度学习数据集(一)

海量数据(又称大数据)已经成为各大互联网企业面临的最大问题,如何处理海量数据,提供更好的解决方案,是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广,大家都在构建自己的大数据处理,大数据分析平台。

相应之下,目前对于海量数据处理人才的需求也在不断增多,此类人才可谓炙手可热!越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到,或者有机会去处理海量数据的,所以就需要一些公开的海量数据集来研究。

在Quora上有人就问到,如何获取海量数据集。此问题得到了很多人的关注。具体可以看看回答,数据集的种类多种多样,有化学分析,基因遗传等等,从中你肯定能得到自己想要个数据集。 Where can I get large datasets open to the public?

*先来个不能错过的数据集网站(深度学习者的福音):* http://deeplearning.net/datasets/**

首先说说几个收集数据集的网站: 1、Public Data Sets on Amazon Web Services (AWS) http://aws.amazon.com/datasets Amazon从2008年开始就为开发者提供几十TB的开发数据。

2、Yahoo! Webscope http://webscope.sandbox.yahoo.com/index.php

3、Konect is a collection of network datasets http://konect.uni-koblenz.de/

4、Stanford Large Network Dataset Collection http://snap.stanford.edu/data/index.html

再就是说说几个跟互联网有关的数据集: 1、Dataset for “Statistics and Social Network of YouTube Videos” http://netsg.cs.sfu.ca/youtubedata/

2、1998 World Cup Web Site Access Logs http://ita.ee.lbl.gov/html/contrib/WorldCup.html 这个是1998年世界杯期间的数据集。从1998/04/26 到 1998/07/26 的92天中,发生了 1,352,804,107次请求。

3、Page view statistics for Wikimedia projects http://dammit.lt/wikistats/

4、AOL Search Query Logs - RP http://www.researchpipeline.com/mediawiki/index.php?title=AOL_Search_Query_Logs

5、livedoor gourmet http://blog.livedoor.jp/techblog/archives/65836960.html

海量图像数据集: 1、ImageNet http://www.image-net.org/ 包含1400万的图像。

2、Tiny Images Dataset http://horatio.cs.nyu.edu/mit/tiny/data/index.html 包含8000万的32x32图像。

3、 MirFlickr1M http://press.liacs.nl/mirflickr/ Flickr中的100万的图像集。

4、 CoPhIR http://cophir.isti.cnr.it/whatis.html Flickr中的1亿600万的图像

5、SBU captioned photo dataset http://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/ Flickr中的100万的图像集。

6、Large-Scale Image Annotation using Visual Synset(ICCV 2011) http://cpl.cc.gatech.edu/projects/VisualSynset/ 包含2亿图像

7、NUS-WIDE http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm Flickr中的27万的图像集。

8、SUN dataset http://people.csail.mit.edu/jxiao/SUN/ 包含13万的图像

9、MSRA-MM http://research.microsoft.com/en-us/projects/msrammdata/ 包含100万的图像,23000视频

10、TRECVID http://trecvid.nist.gov/

截止目前好像还没有国内的企业或者组织开放自己的数据集。希望也能有企业开发自己的数据集给研究人员使用,从而推动海量数据处理在国内的发展!

2014/07/07 雅虎发布超大Flickr数据集 1亿的图片+视频 http://yahoolabs.tumblr.com/post/89783581601/one-hundred-million-creative-commons-flickr-images-for

100多个有趣的数据集 http://www.csdn.net/article/2014-06-06/2820111-100-Interesting-Data-Sets-for-Statistics

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习数据集(二)

    本文整理里一些科研中可能会需要的某类数据集,需要的自己带走。 视频人体姿态数据集 1. Weizmann 人体行为库 此数据库一共包括90段视频,这些视频分别是...

    深度学习思考者
  • 一篇关于视频下载的技术贴(源码)

    前言: 在GitHub,用户可以十分轻易地找到海量的开源代码。本文就针对很常用的视频下载任务,给出了最简单粗暴的下载方式。 任务目标: 使用视频下载的开源项目,...

    深度学习思考者
  • 最短路径(一)——多源最短路径

    引出问题:多源最短路径的问题 暑假,小文准备去一些城市旅游。为了节省经费以及方便计划旅程,小文希望知道任意两个城市之间的最短路径。假如有四个城市八条公路。 我们...

    深度学习思考者
  • Golang 下载文件

    这里使用net/http下载文件,可以设置Content-Type(具体参考)告诉客户端返回的内容类型实际上是什么,实现不同方式的文件的下载。

    孤烟
  • 真正“搞”懂http协议01—背景故事

    zaking
  • Nodejs创建http客户端及代理服务器

    nodejs除了可以通过http模块创建服务器,还能创建客户端,类似于浏览器那样很轻松的去向别的服务器发送请求并获取响应数据。

    前端_AWhile
  • Go语言经典库使用分析(四)| Gorilla Handlers 源代码实现分析

    上一篇 Go语言经典库使用分析(三)| Gorilla Handlers 详细介绍 中介绍了Handlers常用中间件的使用,这一篇介绍下这些中间件实现的原理...

    飞雪无情
  • Go语言经典库使用分析(七)| 高性能可扩展 HTTP 路由 httprouter

    Go语言(golang)的一个很大的优势,就是很容易的开发出网络后台服务,而且性能快,效率高。在开发后端HTTP网络应用服务的时候,我们需要处理很多HTTP的请...

    飞雪无情
  • 藏在短链接下的挖矿木马:NovelMiner

    使用短链接跳转到长网址是网友分享链接的常见方式,尤其是在有字数限制的情况下,冗长的网址不利于显示,短链生成无疑是最便捷的服务之一。然而,由于短链接隐藏了其指向的...

    FB客服
  • Prometheus 整合 AlertManager

    Alertmanager 主要用于接收 Prometheus 发送的告警信息,它很容易做到告警信息的去重,降噪,分组,策略路由,是一款前卫的告警通知系统。它支持...

    程序员果果

扫码关注云+社区

领取腾讯云代金券