前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >爬虫(102)年少遇她误终身?

爬虫(102)年少遇她误终身?

作者头像
公众号---人生代码
发布2020-05-16 22:09:41
4510
发布2020-05-16 22:09:41
举报
文章被收录于专栏:人生代码人生代码

你是否曾经遇到那个她?让你至今难忘,却又错过了?如果有,小编今天就教了爬取她的QQ空间的说说,如果没有,那也没有关系,小编我陪你哈哈,那你可以爬取你自己的QQ空间

在金庸小说里面其实最喜欢的还是天龙八部,还有射雕英雄传,传说中女孩遇上杨过会误终身,也确实,杨过那么帅气,又是大侠,但是杨过遇上小龙女也误了终身,哈哈

太伤感了,不谈太多感情的事情,免得勾起太多回忆,回忆过去,痛苦的相思忘不了,为何你还来拨动我心跳啊

好了,废话少说,小编我就来带你爬取你喜欢的人的QQ空间的说说,我来分析一下,最近这些年,她过的还好?说说里面都有什么话?或许你看到这些说说你就会安心了,也许也会死心了

我在爬取QQ说说时候,我们需要我们的账号密码,然后点击登录按钮就登录进来我们的 QQ 空间了,然后我们要看看我们自己的说说需要滑动到最后,然后点击下一下,再看到下一页的信息

嗯,不过几分钟的时间,我就登录进来我自己的QQ空间了,好干净啊,我还是蛮喜欢QQ的,因为QQ承载着我许多中学的回忆,我会一直保留着自己的QQ号,直到死亡那一刻画上句号

首先我们需要一个自动化爬取工具就是 selenuim 用来打开 chrome 浏览器

代码语言:javascript
复制
from selenium import webdriver

实现自行登录

代码语言:javascript
复制
#获取浏览器驱动
#driver = webdriver.Firefox()
driver = webdriver.Chrome()
#driver = webdriver.Chrome()
# 浏览器窗口最大化
#driver.maximize_window()
 
# 浏览器地址定向为qq登陆页面
driver.get("http://i.qq.com")
 
# 所以这里需要选中一下frame,否则找不到下面需要的网页元素
driver.switch_to.frame("login_frame")
 
# 自动点击账号登陆方式
driver.find_element_by_id("switcher_plogin").click()
 
# 账号输入框输入已知qq账号
driver.find_element_by_id("u").send_keys(user)
 
# 密码框输入已知密码
driver.find_element_by_id("p").send_keys(pw)
 
# 自动点击登陆按钮
driver.find_element_by_id("login_button").click()
 
# 让webdriver操纵当前页
driver.switch_to.default_content()
 
# 跳到说说的url, friend你可以任意改成你想访问的空间
driver.get("http://user.qzone.qq.com/" + friend + "/311")

然后登录成功之后,就是模拟人的一系列操作,首先是一页一页的看QQ空间的说说,那我们爬取也是模拟人点击下一页,下一页的爬取QQ空间的说说

代码语言:javascript
复制
next_num = 0  # 初始“下一页”的id
while True:
 
        # 下拉滚动条,使浏览器加载出动态加载的内容,
        # 我这里是从1开始到6结束 分5 次加载完每页数据
        for i in range(1,6):
            height = 20000*i#每次滑动20000像素
            strWord = "window.scrollBy(0,"+str(height)+")"
            driver.execute_script(strWord)
            time.sleep(4)
 
        # 很多时候网页由多个<frame>或<iframe>组成,webdriver默认定位的是最外层的frame,
        # 所以这里需要选中一下说说所在的frame,否则找不到下面需要的网页元素
        driver.switch_to.frame("app_canvas_frame")
        selector = etree.HTML(driver.page_source)
        divs = selector.xpath('//*[@id="msgList"]/li/div[3]')
 
        #这里使用 a 表示内容可以连续不清空写入
        with open('qq_word.txt','a', encoding='utf-8') as f:
            for div in divs:
                qq_name = div.xpath('./div[2]/a/text()')
                qq_content = div.xpath('./div[2]/pre/text()')
                qq_time = div.xpath('./div[4]/div[1]/span/a/text()')
                qq_name = qq_name[0] if len(qq_name)>0 else ''
                qq_content = qq_content[0] if len(qq_content)>0 else ''
                qq_time = qq_time[0] if len(qq_time)>0 else ''
                print (qq_name,qq_time,qq_content)
                f.write(qq_content+"\n")
 
        # 当已经到了尾页,“下一页”这个按钮就没有id了,可以结束了
        if driver.page_source.find('pager_next_' + str(next_num)) == -1:
         break
 
        # 找到“下一页”的按钮,因为下一页的按钮是动态变化的,这里需要动态记录一下
        driver.find_element_by_id('pager_next_' + str(next_num)).click()
 
        # “下一页”的id
        next_num += 1
 
        # 因为在下一个循环里首先还要把页面下拉,所以要跳到外层的frame上
        driver.switch_to.parent_frame()

接下来我们就来运行一下代码吧,看看效果

代码语言:javascript
复制
python shuoshuo.py '朋友的QQ号' '你自己的QQ号' '你自己的QQ登录密码'

结果我就登录进来了

我们先在当前目录下新建一个爬取QQ说说之后的文本文件保存为

qq_word.txt

好了至此,我们就算爬完QQ空间好友的说说了,明天带领大家进行词云分析

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-04-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CryptoCode 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档