爬取百度音乐5000热门歌单10万音乐数据

平时喜欢用百度音乐随便找个歌单听听歌,一来搜索打开方便,二来歌曲曲目也全。今天在找歌单的时候,突然想看看热门歌单里都有哪里歌曲,于是便有了这个小程序。

首先,需要获取各个歌单的地址,我们从百度音乐的歌单首页入手:

图中红框的为歌单的当前的数目,页面每一页有20个歌单,也就是有20个URL,我们把它提取出来:

存入数据库之后,就有了下面的结果:

(部分截图)

有了歌单的URL地址,我们访问看看:

一个歌单的内页就像这样,在这里,我们只提取出红框中的信息,就是歌单的名称、歌单的创建者、歌单的标签、歌单的播放次数、歌单歌曲的曲名、演唱者和专辑。

在网页上按F12打开调试工具,找到上述信息对应的位置,进行匹配。

最后,使用多线程或者多进程对函数进行调用。

一共爬取了5000余歌单总计10万的歌曲信息,部分截图如下:

原文发布于微信公众号 - 州的先生(zmister2016)

原文发表时间:2016-12-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏xx_Cc的学习总结专栏

iOS-视频播放器的简单封装

35911
来自专栏一“技”之长

OS X开发NSMenu应用详解 原

    NSMenu在Mac桌面软件开发中往往有3个方面的应用,作为程序的主菜单栏使用,作为视图邮件菜单使用和作为Dock菜单使用。

723
来自专栏沈唁志

USpider~一只超级污的司机蜘蛛

之前就看到了狂放小朋友的PHP版本的污言爬虫,然后我就征求了一下小朋友的意见,就改成了Python版本的爬虫,也算是当做练手了

982
来自专栏偏前端工程师的驿站

CSS魔法堂:改变单选框颜色就这么吹毛求疵!

 是否曾经被业务提出"能改改这个单选框的颜色吧!让它和主题颜色搭配一下吧!",然后苦于原生不支持换颜色,最后被迫自己手撸一个凑合使用。若抛开input[type...

583
来自专栏练小习的专栏

WP-pagenavi插件在分类内分页无效问题

一直用WP-pagenavi这个插件分页,今天突然遇到个大问题,我在首页调用一个分类 <?php query_posts('showposts=2&cat=5'...

1876
来自专栏编程微刊

百度地图API的使用示例

刚刚工作的时候写过百度地图API文档,那时候没有记录到技术博客里面,今天在群里看见有个姑娘在问这个问题,重温了一遍,这个API还算好用。百度地图API,集成简单...

704
来自专栏Android群英传

去除 MIUI 的负一屏

872
来自专栏有趣的django

22.jQuery(实例)

1.开关灯效果 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <...

2543
来自专栏IT笔记

SpringBoot开发案例之mail中文附件乱码

前一段时间做过一个邮件发送的服务,以前大体都测试过,文本、图片、附件都是没有问题的,可有同事反应发送的附件名称有中文乱码,类似如下截图展示: ? 咋一看不...

3999
来自专栏GopherCoder

『Golang 构建命令行工具: YiYi 视频版』

1402

扫码关注云+社区