周杰伦QQ音乐评论的可视化分析

朱小五

发布于 2020-06-04 10:57:21

9740

发布于 2020-06-04 10:57:21

文章被收录于专栏：凹凸玩数据凹凸玩数据

很多小白不知道学完了python爬虫后，能干什么？这里分享该文作者刚刚学习python后，创作的一篇文章，我感觉还是很有意思的。虽然对那些会的人不难，但是这确实是很好的一种学习思路。

1.数据爬取

python也快学了一个多月了，今天就来分享一下爬取QQ音乐评论的实战例子吧。以周董的《说好不哭》为例：

首先打开QQ音乐，搜索说好不哭。翻到评论区后，使用谷歌浏览器的检查功能，找到Network部分进行抓包，发现评论区的内容是被封装在json中的，如下图所示：

列表中共包含25个元素，也就是一页的评论数为25条。通过分析url可知，pagenum控制着页数，以for循环即可获得多页网址。接下来就通过python来展示具体实现爬取评论的过程：

import requests
import xlwt
import os
import json
os.chdir('..//filepath//')  ##设置工作路径
workbook=xlwt.Workbook(encoding='utf-8')
worksheet=workbook.add_sheet('说好不哭评论')
worksheet.write(0,0,'昵称')
worksheet.write(0,1,'时间')
worksheet.write(0,2,'点赞数')
worksheet.write(0,3,'评论')
n=1
for page in range(0,200):
    print('-'*100)
    url_left='https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk=792727314&hostUin=0&format=json&inCharset=utf8&outCharset=GB2312¬ice=0&platform=yqq.json&needNewCode=0&cid=205360772&reqtype=2&biztype=1&topid=237773700&cmd=8&needmusiccrit=0'
    url=url_left+'&pagenum='+str(page)+'&pagesize=25'
    headers={'User-agent':'Mozilla/5.0'}
    r=requests.get(url,headers=headers)
    data=json.loads(r.text)
    common_comments=data.get('comment').get('commentlist')
    for i in range(0,len(common_comments)):
        worksheet.write(n,0,common_comments[i].get('nick'))
        worksheet.write(n,1,common_comments[i].get('time'))
        worksheet.write(n,2,common_comments[i].get('praisenum'))
        worksheet.write(n,3,common_comments[i].get('rootcommentcontent'))
        n+=1
    print('第{}页评论爬取完成'.format(str(page)))
    print('-'*100)
workbook.save('common-comments.xls')

这里爬取的是5000条的普通评论，根据同样的分析方法，我们还可以爬取到133条热门评论。最终爬取的数据如下：

热门评论数据：