抱歉,你查看的文章不存在

爬取百度音乐5000热门歌单10万音乐数据

平时喜欢用百度音乐随便找个歌单听听歌,一来搜索打开方便,二来歌曲曲目也全。今天在找歌单的时候,突然想看看热门歌单里都有哪里歌曲,于是便有了这个小程序。

首先,需要获取各个歌单的地址,我们从百度音乐的歌单首页入手:

图中红框的为歌单的当前的数目,页面每一页有20个歌单,也就是有20个URL,我们把它提取出来:

存入数据库之后,就有了下面的结果:

(部分截图)

有了歌单的URL地址,我们访问看看:

一个歌单的内页就像这样,在这里,我们只提取出红框中的信息,就是歌单的名称、歌单的创建者、歌单的标签、歌单的播放次数、歌单歌曲的曲名、演唱者和专辑。

在网页上按F12打开调试工具,找到上述信息对应的位置,进行匹配。

最后,使用多线程或者多进程对函数进行调用。

一共爬取了5000余歌单总计10万的歌曲信息,部分截图如下:

原文发布于微信公众号 - 州的先生(zmister2016)

原文发表时间:2016-12-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

州的先生

4 篇文章54 人订阅

相关文章

来自专栏EAWorld

DevOps之软件产品管理最佳实践

? 大家好,我是王召,现在负责新一代数字化企业云平台 “The Platform” 的SPM、MKT领域系统。很荣幸这次有机会和大家分享“DevOps领域系统...

3105
来自专栏非著名程序员

十大技巧快速提升原生APP开发性能

移动应用市场用户争夺战日益激烈,原来做APP拼想法拼创意拼是否抓住用户痛点。现在,精细化用户体验成为了一个APP能否留存用户的关键问题,一旦用户觉得体验不畅,马...

21510
来自专栏Timhbw博客

iOS面试中被面试官问到的问题

问题如下: 请你谈谈static和宏定义的区别。什么时候用static什么时候用宏定义。 你是怎么看代理和通知的 他们有什么区别? 说说你对内存管理的理解。 谈...

7446
来自专栏无原型不设计

干货分享:如何挑选一款高效的原型工具?

每当设计一个新的App或网站时,作为对原型设计有一定了解的人来说,我们会倾向于选择那些“明星”原型设计工具。它们功能齐全、模板酷炫,能够帮助我们解决大部分设计...

3444
来自专栏章鱼的慢慢技术路

游戏服务器概述

(1)了解常见查找/排序算法的特点:利用算法来改善性能,胜于通过编译器选项、编程技巧;

6152
来自专栏木可大大

漫谈软件开发过程

一个合理而又有效的软件开发过程对软件开发人员来说是至关重要的,决定着开发是痛苦的挣扎,还是不断进步的喜悦。目前软件开发一般过程包含以下几个步骤:理解需求、架构设...

1354
来自专栏GopherCoder

『Python 爬虫文集梳理』

2394
来自专栏Golang语言社区

[Go语言]采用Go语言作为服务端编程语言的建议书

按:这是我给公司(部门)写的使用推广Go语言的建议书,给领导看了以后,领导同意使用Go语言对一些服务器程序进行改写并部署到外网进行验证。希望这篇文章能够给同样在...

6127
来自专栏沈唁志

新人初学Linux的4个必备技巧

2032
来自专栏陈树义

如何通过组件化提高开发效率?

在软件开发过程中,大到业务模块的划分,小到技术组件的开发,都属于组件化的思考范畴内。很多时候我们到网上搜索「组件化」关键词,都只会看到关于前端组件化的资料,而对...

3174

扫码关注云+社区

领取腾讯云代金券