Python爬取qq空间说说

#coding:utf-8
#!/usr/bin/python3
from selenium import webdriver
import time
import re
import importlib2
import sys
importlib2.reload(sys)

def startSpider():
    driver = webdriver.Chrome('/Users/zachary/zachary/chromedriver.exe') #这个是chormedriver的地址
    driver.get('https://qzone.qq.com/')

    driver.switch_to.frame('login_frame')
    driver.find_element_by_id('switcher_plogin').click()

    driver.find_element_by_id('u').clear()
    driver.find_element_by_id('u').send_keys('QQ号')  #这里填写你的QQ号
    driver.find_element_by_id('p').clear()
    driver.find_element_by_id('p').send_keys('QQ密码')  #这里填写你的QQ密码

    driver.find_element_by_id('login_button').click()
    time.sleep(2)

    #设置爬取内容保存路径
    f = open('/Users/zachary/Documents/shuoshuo.txt','w')

    #---------------获得g_qzonetoken 和 gtk
    html = driver.page_source

    '''g_qzonetoken=re.search('window\.g_qzonetoken = \(function\(\)\{ try\{return (.*?);\} catch\(e\)',html)#从网页源码中提取g_qzonetoken'''
    g_qzonetoken = "e794139a284d6ea9e0b26826e541b55df37d0667a3544f534de25aebdb64628d3ab75e1d7104bbb22a"

    cookie = {}#初始化cookie字典
    for elem in driver.get_cookies():#取cookies
        cookie[elem['name']] = elem['value']

    gtk=getGTK(cookie)#通过getGTK函数计算gtk
    #print(g_qzonetoken)
    #print(gtk)

    #--------------获得好友列表   注意下面的链接
    driver.get('https://user.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_hat_get.cgi?hat_seed=1&uin=你的QQ号fupdate=1&g_tk='+str(gtk)+'&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))
    friend_list = driver.page_source
    friend_list = str( friend_list )
    abtract_pattern  =  re.compile('\"(.\d*)\":\{\\n"realname":"(.*?)"}',re.S)
    QQ_name_list = re.findall(abtract_pattern,str(friend_list)) #数组
    print(QQ_name_list)
    numList=dict()# numList => (QQnum:QQname)  #列表
    for i in QQ_name_list:
        numList[str(i[0])]=str(i[1])
    begin = 0
    last_source = ""
    tag = 1
    first = 0
    firstTime=""

    #如果要爬取自己的说说,手动添加自己的qq号
    #numList['你的qq号']='你的名字'
    #print(numList)

    for key in numList.keys():
        QQnum = key
        QQname = numList[QQnum]

        if QQnum == "好友qq号":  #根据qq号查找指定好友说说
            count = 1
            begin = 0
            while tag==1 :
                #-------------进入好友说说页面                                                                       #'+QQnum+'              '+str(begin)+'
                #print("Begin:"+str(begin))
                driver.get('https://user.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6?uin='+QQnum+'&ftype=0&sort=0&pos='+str(begin)+'&num=40&replynum=200&g_tk='+str(gtk)+'&callback=_preloadCallback&code_version=1&format=jsonp&need_private_comment=1&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))

                try:
                    msg_list_json = driver.page_source
                except:
                    begin = begin + 40
                    continue


                msg_list_json = str(msg_list_json)
                if last_source==msg_list_json :
                    break
                else:
                    last_source=msg_list_json

                #检测是否没有权限访问
                abtract_pattern  =  re.compile(',"message":"(.*?)","name":',re.S)
                message = re.findall(abtract_pattern,str(msg_list_json))
                if message!=[]:
                    if str(message[0])=='对不起,主人设置了保密,您没有权限查看':#对不起,主人设置了保密,您没有权限查看
                        break

                #print(msg_list_json)
                #解析JSON
                #webDriver没有现成的JSON解析器,所以采用获取源码的方式,然后使用正则表达式获取具体细节
                msg_list_json =  msg_list_json.split("msglist")[1]#拆分json,缩小范围,也能加快解析速度
                msg_list_json =  msg_list_json.split("smoothpolicy")[0]
                msg_list_json =  msg_list_json.split("commentlist")[1:]

                #说说动态分4种:1、文字说说(或带有配图的文字说说)
                #              2、只有图片的说说
                #              3、转发,并配有文字
                #              4、转发,不配文字

                for text in msg_list_json:
                    # 1、先检查说说,用户是否发送了文字,如果没有文字,正则表达式匹配无效
                    abtract_pattern  =  re.compile('\}\],"content":"(.*?)","createTime":"(.*?)","created_time":(.*?),"',re.S)
                    msg_time = re.findall(abtract_pattern,str(text))

                    if msg_time!=[]:
                        # 2、如果作者说说有文字,那么检查是否有转发内容
                        msg = str(msg_time[0][0])
                        sendTime = str(msg_time[0][1])

                        abtract_pattern  = re.compile('\}\],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)
                        text = text.split("created_time")[1]
                        msg_time2 = re.findall(abtract_pattern,str(text))

                        #合并发送内容 格式:评论+转发内容
                        if msg_time2!=[]:
                            msg = msg +"  转发内容:"+str(msg_time2[0][0])

                    else:
                        # 3、说说内容为空,检查是否为 =>只有图片的说说 or 转发,不配文字
                        #获取正文发送时间 (发送时间分为:正文发送时间 or 转发时间)
                        abtract_pattern  =  re.compile('"conlist":null,"content":"","createTime":"(.*?)",',re.S)
                        msgNull_time = re.findall(abtract_pattern,str(text))

                        if msgNull_time!=[]:
                            #如果有正文发送时间,那么就是这条说说仅含有图片  =>只有图片的说说
                            msg = "图片"
                            sendTime = str(msgNull_time[0])
                        else:
                            #如果没有正文发送时间,那么就是说这条说为 =>转发,不配文字
                            abtract_pattern  =  re.compile('\}\],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)
                            msg_time = re.findall(abtract_pattern,str(text))
                            msg ="  转发内容:"+str(msg_time[0][0])
                            sendTime = str(msg_time[0][1])

                    #写入本地文件
                    #f.write('{},{},{},{}\n'.format(str(QQname),str(QQnum),sendTime,msg))


                    print(str(count)+" : "+str(QQname)+" : "+str(QQnum)+" : "+sendTime+" : "+msg)
                    count = count + 1

                begin =  begin + 40

def getGTK(cookie):
    hashes = 5381
    for letter in cookie['p_skey']:
        hashes += (hashes << 5) + ord(letter)
    return hashes & 0x7fffffff
startSpider()
print("爬取结束")

我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=26xrbkz3fdhck

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏WindCoder

通过Js判断客户端为PC端还是手持设备

Js中获取浏览器信息字符串只要使用navigator.userAgent即可,这样我们再利用indexof来判断版本或其它信息了。

5222
来自专栏java达人

Ajax详解

image.png 一:什么是Ajax Ajax是(Asynchronous JavaScript And XML)是异步的JavaScript和xml。也...

2209
来自专栏有趣的Python和你

python爬虫之微打赏(scrapy版)创建项目itemssettingsweidashangspider保存为csv文件

1654
来自专栏java一日一条

Java 并发包中的读写锁及其实现分析

在Java并发包中常用的锁(如:ReentrantLock),基本上都是排他锁,这些锁在同一时刻只允许一个线程进行访问,而读写锁在同一时 刻可以允许多个读线程访...

752
来自专栏Python中文社区

多线程爬取斗图网站,赶紧上车

專 欄 ? ❈致Great,Python中文社区专栏作者 博客: http://www.jianshu.com/u/261e23a40f71 ❈ 最近看了Py...

24010
来自专栏极客慕白的成长之路

光棍节程序员闯关秀过关攻略

查看源代码,发现a标签的颜色和背景色一样,导致了我们看不到a过关地址,方法很简单,直接复制源代码中的key即可,或者ctrl+a然后单击进入下一关即可

1275
来自专栏Albert陈凯

Hadoop数据分析平台实战——250JSSDK数据收集引擎编写离线数据分析平台实战——250JSSDK数据收集引擎编写

离线数据分析平台实战——250JSSDK数据收集引擎编写 JsSDK设计规则 在js sdk中我们需要收集launch、pageview、chargeReque...

3678
来自专栏龙首琴剑庐

Python之多线程爬虫抓取网页图片

目标 嗯,我们知道搜索或浏览网站时会有很多精美、漂亮的图片。 我们下载的时候,得鼠标一个个下载,而且还翻页。 那么,有没有一种方法,可以使用非人工方式自动识别并...

4815
来自专栏农夫安全

sqlmap被ban了ip怎么办

sqlmap被ban了ip怎么办 第一种办法 好不容易挖到的注入点,结果总是因为请求速度过快被ban掉ip,我觉得可以给sqlmap加个代理池!暑假前的想法,...

6686
来自专栏偏前端工程师的驿站

.Net魔法堂:log4net详解

一、作用                              提供一个记录日志的框架,可以将日志信息记录到文件、控制台、Windows事件日志和数据库(M...

2125

扫码关注云+社区

领取腾讯云代金券