爬取百度音乐5000热门歌单10万音乐数据

平时喜欢用百度音乐随便找个歌单听听歌,一来搜索打开方便,二来歌曲曲目也全。今天在找歌单的时候,突然想看看热门歌单里都有哪里歌曲,于是便有了这个小程序。

首先,需要获取各个歌单的地址,我们从百度音乐的歌单首页入手:

图中红框的为歌单的当前的数目,页面每一页有20个歌单,也就是有20个URL,我们把它提取出来:

存入数据库之后,就有了下面的结果:

(部分截图)

有了歌单的URL地址,我们访问看看:

一个歌单的内页就像这样,在这里,我们只提取出红框中的信息,就是歌单的名称、歌单的创建者、歌单的标签、歌单的播放次数、歌单歌曲的曲名、演唱者和专辑。

在网页上按F12打开调试工具,找到上述信息对应的位置,进行匹配。

最后,使用多线程或者多进程对函数进行调用。

一共爬取了5000余歌单总计10万的歌曲信息,部分截图如下:

原文发布于微信公众号 - 州的先生(zmister2016)

原文发表时间:2016-12-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏GopherCoder

『Python 爬虫文集梳理』

2254
来自专栏Timhbw博客

iOS面试中被面试官问到的问题

问题如下: 请你谈谈static和宏定义的区别。什么时候用static什么时候用宏定义。 你是怎么看代理和通知的 他们有什么区别? 说说你对内存管理的理解。 谈...

6106
来自专栏木可大大

漫谈软件开发过程

一个合理而又有效的软件开发过程对软件开发人员来说是至关重要的,决定着开发是痛苦的挣扎,还是不断进步的喜悦。目前软件开发一般过程包含以下几个步骤:理解需求、架构设...

1174
来自专栏EAWorld

DevOps之软件产品管理最佳实践

? 大家好,我是王召,现在负责新一代数字化企业云平台 “The Platform” 的SPM、MKT领域系统。很荣幸这次有机会和大家分享“DevOps领域系统...

2855
来自专栏华章科技

还不知道这 11 个超酷的编程新工具你就 out 了!

在这篇文章中,我们将列出你在日常工作中能够使用的新的开发工具。很多对在线流媒体感兴趣的开发人员已经开始在他们的开发环境中使用这些新工具,因为相比他们的旧的设施来...

922
来自专栏SDNLAB

对象存储的演进之路

3685
来自专栏杨建荣的学习笔记

胖客户端程序总结(r3笔记44天)

这周基本功能都花在了胖客户端程序上,自己考虑做一个应用,个人比较倾向于胖客户端程序,主要考虑了一下几种。 spring richclient 开源的,自己之前...

3297
来自专栏Golang语言社区

[Go语言]采用Go语言作为服务端编程语言的建议书

按:这是我给公司(部门)写的使用推广Go语言的建议书,给领导看了以后,领导同意使用Go语言对一些服务器程序进行改写并部署到外网进行验证。希望这篇文章能够给同样在...

8088
来自专栏架构师之路

微博与im消息实现对比[随想]

这两天在Qcon的群里讨论im讨论的比较多,翻出11年写的一篇blog(略显稚嫩?),原文如下: ===== 在网上看了一篇关于微博feed系统的架构文章(S...

3667
来自专栏非著名程序员

十大技巧快速提升原生APP开发性能

移动应用市场用户争夺战日益激烈,原来做APP拼想法拼创意拼是否抓住用户痛点。现在,精细化用户体验成为了一个APP能否留存用户的关键问题,一旦用户觉得体验不畅,马...

20110

扫码关注云+社区