利用python爬取网易云音乐,并把数据存入mysql

这是我的第四篇原创文章

在简单学习了python爬虫后,又想继续折腾,进而找到了这个网易云音乐,因为本人平时就是用它听的歌,也喜欢看歌里的评论,所以就爬网易云音乐评论吧,那么开始吧!

正式进入主题

首先还是去找目标网页并开始分析网页结构,如下

上面的三个箭头都是所要找的数据,分别是评论用户,评论和点赞数,都可以用正则表达式找出来,接下来继续找怎样找到下一页的数据,还是用开发者工具,但是当点击下一页的时候,网页的url没有变,说明网页是动态加载,所以就不能在当前网页找数据了,应该在他的xhr文件里找,所以点入network看看,然后也点击下一页一看,果然有想要的

看到这里,就兴奋地去敲代码了

一点击运行,结果什么东西都没有,但是他的状态码是200,明显请求成功啊,却没有东西返回,再去network仔细看看这个网页,看到他是个post请求,也看到了需要post两个参数params和ensSecKey

一看到这个,密密麻麻的数字和字母,就猜应该是被加密了,不过可以复制下来看看有没有用。接下来看下他的Response,咦,这是个json,不是html结构的,所以需要用到Json库来进行解析

现在开始敲代码吧,先把上面的两个参数复制过来看看。

现在把每条评论的评论用户和点赞数和评论获取出来

可以看到,利用json.loads()方法把数据转成python格式里的字典后就可以把想要的数据取出来了,但是,下一页怎样取?总不能每次都复制粘贴那两个参数吧?那唯一的方法就是不爬了。。怎么可能?我的继续,那我就要进行破解这两个参数了,那好继续看network,因为要加密,肯定要用js进行加密的

看到刚才那个网站的发起者core.js,,然后把它文件下载下来慢慢研究

保存后在经过美化,然后进行查找那个encSecKey参数(ps:JSj'e'tong'yang'de美化网址为http://www.css88.com/tool/js_beautify/),然后找到这个

看到window.asrsea()方法有四个参数,先不去管这个函数,先看看他的四个参数是什什,这里没必要去研究那四个参数怎样来的,只需要知道他是什么,那么我们可以加点代码上去让他显示出来,从而利用fiddler来进行调试

加入代码如下

可以分别获取上面的每一个参数,也把那个params获取看看,然后在fiddler上操作如下

完成上面的设置后刷新网页就可以在console上面找到参数信息,如果没有的话这是因为你之前浏览该网页的时候它被缓存了下来,所以要清除缓存文件(在清除浏览器记录里面有)

那个rid有本歌曲的id,明显是与评论有关的,我试着连翻几页后,发现那个offset就是评论偏移数,offset就是(页数-1)*20,total在第一页是true,在其他页是false

同样的方法也得到第二个参数为:010001

第三个参数为:00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7

第四个参数为:0CoJUm6Qyw8W8jud

接下来就要看window.asrsea()方法是什么操作的了,还是通过查找js文件可以看到这个

通过研究i是随机获取十六个字符而b函数是AES加密,其中偏移量为0102030405060708,模式为CBC,看回d函数,其中params连续两次加密,第一次加密时,文本为第一个参数。密钥为第四个参数,第二次加密时文本为第一次加密的值,密钥为随机数a。而encSeckey是一个RSA加密,他的公钥是第二个参数,模式是第三个参数,文本为那个随机字符串a

终于分析完了,接着开始敲代码

先来个获取第一页评论的代码

这是获取两个参数的类

这是解析网易云音乐和获取评论的类

然而一点击运行,直接给我报了个错:TypeError: can't concat str to bytes

原来是因为在第二次加密的时候,那个params是个byte类型,所以把他转成字符串类型就可以了

再次点击运行,结果还是报错了:json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

这个报错因为我的json解析错了,回头调试一看,网页返回的东西是空的,但他的状态码是200,这是什么鬼?接着我再试了把那两个参数的值直接复制和前面一样看看,结果运行成功,这就说明我的是加密过程错了,然后我就回去看了几篇,看不出什么错误,上网百度找到了这个知乎文章https://zhuanlan.zhihu.com/p/32069543,我把她的代码复制过来运行下,结果是可以的,我就继续看看我和她的区别,原来我在用那个16个随机字符的时候用错了,我在两个参数给了两个不同的,而是需要给共同一个的,看到这里,我就直接回去改了下,果然运行成功,代码我就不贴出来了,效果如下

接着是获取每一页的评论,而每一页与第一个参数的offset有关,其中的公式为offse=(页数-1)*20,total在第一页是true,在其他页是false

而写入数据库我用的是我这篇文章的操作

http://mp.weixin.qq.com/s/6sQ_ER39P2NtXaPOnGdQNA

,由于篇幅过长,就不贴出来了,感兴趣的可以去看看

接下来点运行就可以了,但是运行到第八页的时候出现了这个异常

raise errorclass(errno, errval)

pymysql.err.InternalError: (1366, "Incorrect string value: '\\xF0\\x9F\\x92\\x94' for column 'content' at row 1")

原因是这条评论有个识别不了的表情,之后百度参考这篇文章http://blog.csdn.net/HHTNAN/article/details/76769264?locationNum=9&fps=1修改了数据库的编码方式,注意还要自己修改下创建数据库时的编码方式才可!

这是首页数据库效果

获取完成(家驹的歌评论这么少吗?不解)

终于完成了,虽然辛苦,但是值得,在这个过程中也学会了很多东西,因为自己还没有学数据分析,所以就先把数据放在数据库里面,等到学了再进行分析,在爬这个评论时最好自己用代理ip爬,防止网易云把你的ip封了,让你听歌都听不了。在写这篇文章时参考了两篇文章,一个是知乎首个回答https://www.zhihu.com/question/36081767/answer/140287795,另一个就是解密过程https://github.com/cosven/cosven.github.io/issues/30

大家有什么问题的话欢迎在下方留言,我知道的我都一一为你解答,最后,若你也在这篇文章学到了,可以帮我点个赞,转发下吗?谢谢支持哈!

ps:若需要完整代码可以在后台回复评论即可获取,还有其他福利以后会一一分析!

原文发布于微信公众号 - 日常学python(daily_learn)

原文发表时间:2018-02-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SEO

「SEO技巧」页面分页优化技巧

3777
来自专栏快乐八哥

使用jQuery UI的draggable和droppable完成拖拽功能--介绍

第一部分--拖拽介绍 在https://code.csdn.net/2013ossurvey中最后一个开源项目就是zTree,一方面是因为自己看到有项目中使用了...

2785
来自专栏技术总结

斗图会输?不存在的

可以看出,每一页的图片都在 div 标签里面,然后每一个 a 标签包含一个图片,

1123
来自专栏小樱的经验随笔

CTF---Web入门第十六题 天下武功唯快不破

天下武功唯快不破分值:10 来源: 北邮天枢战队 难度:易 参与人数:10787人 Get Flag:2264人 答题人数:3373人 解题通过率:67% ...

3086
来自专栏FreeBuf

SSLStrip 终极版:Location 瞒天过海

作者 Ether Dream 前言 之前介绍了 HTTPS 前端劫持 的方案,虽然很有趣,然而现实却并不理想。其唯一、也是最大的缺陷,就是无法阻止脚本跳转。若是...

2228
来自专栏岑玉海

RavenDb学习(一)设计模式介绍

RavenDb是一个文档型的数据库,和芒果Db是一个类型的东西,但是公司选择了它,主要是因为它对事务的支持比较好,芒果Db在事务方面有问题。 下面有一个例子...

4457
来自专栏日常学python

用Python把表情包都爬下来,从此不用再担心斗图会输。

进入斗图啦 1、进入斗图啦网址,点击“最新表情”,再点击第二、第三页,得出规律如下:

1502
来自专栏腾讯移动品质中心TMQ的专栏

基于 hook 和 gmock 开展单元测试

单元测试又称为模块测试,是针对程序模块(软件设计的最小单位)来进行正确性检验的测试工作。程序单元是应用的最小可测试部件。在过程化编程中,一个单元就是单个程序、函...

9002
来自专栏mini188

学习笔记:java并发编程学习之初识Concurrent

一、初识Concurrent 第一次看见concurrent的使用是在同事写的一个抽取系统代码里,当时这部分代码没有完成,有许多的问题,另一个同事接手了这部分代...

22610
来自专栏云飞学编程

新手也能做爬虫!一起来爬电影信息吧

第二篇练手的东西来了,当然这里的电影信息并不是那些评论或者评分什么的,今天咱们来试试直接爬电影链接!

943

扫码关注云+社区

领取腾讯云代金券