版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/86894540
在学习spark的过程中,除了经典的WrodCount例子(用于统计文本文件中的单词出现次数),我们也在寻找其他海量数据来做更多实战以提高自己,今天介绍的是一个海量数据集的下载方法,以及数据内容的简介;
数据的下载页面地址:https://dumps.wikimedia.org/other/pagecounts-raw
这么多数据一个一个下载会很麻烦,可以通过迅雷的批量下载功能来减少工作量;
aa.b User_talk:Sevela.p 1 5786
aa.b Wikidata 1 4654
aa.b Wikiquote 1 4658
aa.b Wikiversity 1 4655
aa.d Main_Page 1 5449
aa.d Special:Log/Rschen7754 1 5589
aa.d Special:WhatLinksHere/User:Rschen7754 1 5168
aa.d User:14.99.4.25 1 4761
aa.d User:88.5.75.89 1 4760
aa.d User:95.27.0.82 1 4762
内容 | 意义 |
---|---|
aa.b | 项目名称,".b"表示wikibooks |
User_talk:Sevela.p | 网页的三级目录 |
1 | 一小时内的访问次数 |
5786 | 一小时内被请求的字节总数 |
上述内容可以还原为一个网址,如下图所示,对应的URL为:https://aa.wikibooks.org/wiki/User_talk:Sevela.p
关于"aa.b"如何映射成为一级域名"aa.wikibooks.org",请参照这个网页中关于"domain_code"的描述:https://wikitech.wikimedia.org/wiki/Analytics/Archive/Data/Pagecounts-raw
至此,海量数据的下载和格式介绍就全部完成了,后面的章节,我们一起用这份数据来做spark开发,演练大数据技能;