教你用Python爬去QQ音乐评论

有态度地学习

去年夏天,好像于我而言,重要的事就是毕业来临,从此踏上了搬砖之路,从学校到职场,之间身份的转变,让我又多了一份责任。当然还有一段感情经历,现在回头去看,只能说且行且珍惜,或许以后未必能再遇见!

本次爬取的是QQ音乐的评论信息,作为一名基本不看评论的人,真的羞愧难当。不过音乐嘛,听听就不错啦,哪有闲情雅致去看,又或是去评,毕竟文化水平有限,想想就脑瓜疼。

通过这次爬取,学习了数据库MySQL,因为之前都是在windows上操作,而这回需要在Mac上操作,所以就在Mac上安装了MySQL以及MySQL的管理工具Sequel Pro,最后也是安装成功,数据库连接也没有问题。

接下来创建数据库,表格及主键信息。

importpymysql

# 创建数据库

db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306)

cursor = db.cursor()

cursor.execute("CREATE DATABASE QQ_Music DEFAULT CHARACTER SET utf8mb4")

db.close()

importpymysql

# 创建表格, 设置主键

db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='QQ_Music')

cursor = db.cursor()

sql ='CREATE TABLE IF NOT EXISTS comments (nike VARCHAR(255) NOT NULL, comment VARCHAR(255) NOT NULL, praisenum INT NOT NULL, comment_id VARCHAR(255) NOT NULL, time VARCHAR(255) NOT NULL, PRIMARY KEY (comment))'

cursor.execute(sql)

db.close()

针对QQ音乐中去年夏天的网页进行分析,查看了所有评论的尾页,发现时间缩水了,因为热评中有一条评论的时间7月12号,而所有评论最后一页的时间却是7月16号。很明显,所有评论并不是货真价实的所有评论,不知这算不算QQ音乐的BUG。

还有一个就是直接点击最后一页的时候,并不能直接返回真正的信息,需要从最后一页往前翻,到了真正的信息页时,然后再往后翻,才能得到最后一页的真正信息。

同样是Ajax请求,确认网址后,分析一下请求头,发现主要是三个参数发生变化:jsoncallback

pagenum

lasthotcommentid

pagenum不难理解,就是页数。jsoncallback经过实验后,发现并不会影响请求,所以设置时无需改动,lasthotcommentid的值对应的是上一页最后一个评论者的ID,所以需要随时改动。

即改变pagenum,lasthotcommentid的值,就可成功实现请求。

爬取代码如下:

importre

importjson

importtime

importpymysql

importrequests

URL ='https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?'

HEADERS = {

'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

}

PARAMS = {

'g_tk':'5381',

'jsonpCallback':'jsoncallback4823183319594757',

'loginUin':'0',

'hostUin':'0',

'format':'jsonp',

'inCharset':'utf8',

'outCharset':'GB2312',

'notice':'0',

'platform':'yqq',

'needNewCode':'0',

'cid':'205360772',

'reqtype':'2',

'biztype':'1',

'topid':'213910991',

'cmd':'8',

'needmusiccrit':'0',

'pagenum':'0',

'pagesize':'25',

'lasthotcommentid':'',

'callback':'jsoncallback4823183319594757',

'domain':'qq.com',

'ct':'24',

'cv':'101010',

}

LAST_COMMENT_ID =''

db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='QQ_Music', charset='utf8mb4')

cursor = db.cursor()

defget_html(url, headers, params=None, tries=3):

try:

response = requests.get(url=url, headers=headers, params=params)

response.raise_for_status()

response.encoding ='utf-8'

exceptrequests.HTTPError:

print("connect failed")

iftries >:

print("reconnect...")

last_url = url

get_html(last_url, headers, tries-1)

else:

print("3 times failure")

returnNone

returnresponse

defparas_html(html):

data = {}

content = json.loads(html[29:-3])

foritemincontent['comment']['commentlist']:

data["nike"] = item.get("nick")

data["comment"] = re.sub(r"\\n"," ", item.get("rootcommentcontent"))

data["comment"] = (re.sub(r"\n"," ", data["comment"]))[:255]

data["praisenum"] = item.get("praisenum")

data["comment_id"] = item.get("commentid")

data["time"] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(int(item.get("time"))))

yielddata

defto_mysql(data):

table ='comments'

keys =', '.join(data.keys())

values =', '.join(['%s'] * len(data))

sql ='INSERT INTO () VALUES () ON DUPLICATE KEY UPDATE'.format(table=table, keys=keys, values=values)

update =','.join([" = %s".format(key=key)forkeyindata])

sql += update

try:

ifcursor.execute(sql, tuple(data.values())*2):

print('Successful')

except:

print('Failed')

db.rollback()

db.commit()

defmain():

first_Links = []

three_Links = []

count =

globalLAST_COMMENT_ID

forpageinrange(1045):

ifpage %5==:

time.sleep(2)

PARAMS['lastcommentid'] = LAST_COMMENT_ID

PARAMS['pagenum'] = page

iffirst_Links:

ifcount >=3:

three_Links.append(first_Links.pop())

continue

count +=1

response = get_html(first_Links.pop(), HEADERS)

else:

count =

response = get_html(URL, HEADERS, PARAMS)

ifresponse:

try:

foriteminparas_html(response.text):

to_mysql(item)

print("Successful", response.url)

LAST_COMMENT_ID = item['comment_id']

exceptTypeError:

print(response.url)

first_Links.append(response.url)

cursor.close()

db.close()

print(three_Links)

if__name__ =='__main__':

main()

最后成功获取评论信息

这里有一个问题,因为请求头是一直变化的,所以可能会错过一些评论页,导致评论获取不完全,这里只需多运行几次代码,或者在主程序加个循环即可,注意要设置下延迟,之后基本上能获取大部分的评论。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181126A0SPHD00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券