爬取酷狗音乐Top 500排名

第【六】篇

一、项目说明

本次项目是对酷狗音乐排行前500首歌做一个下载,显示出排名,歌名,歌手,时间

二、所需工具

开发工具:Pycharm

Python版本:3.7

Chrome浏览器

三、操作步骤分析

打开酷狗音乐

https://www.kugou.com/yy/rank/home/1-8888.html?from=homepage

500首歌,是需要翻页的,依次翻页,这个地址只有页码发生变化,所以可以分析出我们需要爬取25页的数据,由此可以分析出这是一个多页面爬虫流程

https://www.kugou.com/yy/rank/home/-8888.html?from=homepage

四、多页面爬虫原理步骤

1)手动翻页并观察URL特点,构造所有的URL并存入列表中

2)根据URL列表依次循取出URL

3)定义爬虫函数

4)循环调用爬虫函数,存储数据

5)循环完毕,结束爬虫程序

五、代码实现

代码分析:

实现的代码可以分成4部分,第一分部是引入的第三方框架,第二部分是采取请求头,伪装成浏览器。第三部分是代码的实现部分。第四部分是程序的入口。

运行结果:

六、源码地址:

https://github.com/HuoYongJie/PythonProject

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181204G0AOIW00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券