使用Phantomjs模拟登录QQ空间

在使用Python进行数据爬取的过程中,我们一般使用Selenuim自动化测试工具对需要进行登录验证和动态JS数据的站点进行爬取。而与Selenuim相对应的浏览器组件,为了方便起见,一般使用FireFox或Chrome。

网上有一些关于模拟登录QQ空间的方法,都是使用Selenuim+Firefox或其他浏览器,例如郑晓的这篇:http://www.zh30.com/python-selenium-qzone-login.html

但Firefox或Chrome的内存占用极大,调用也会耗费一定的时间,有时候在机器性能有限的情况下,一旦访问量频繁,则会影响爬虫效率。

幸而,我们还可以使用Phantomjs这个基于 WebKit 的服务器端 JavaScript API无头浏览器来进行模拟登录:

代码如下:

from selenuim import webdriver
# 设置Phantonjs路径
driver = webdriver.Phantomjs(executable_path="D:\\phantomjs.exe")
login_url = 'https://h5.qzone.qq.com/mqzone/index'
driver.get(login_url)
time.sleep(3)
# 点击“继续打开触屏版”
driver.execute_script("var q=document.getElementById('guideSkip');q.click()")
driver.implicitly_wait(3)
# 填写登录信息
driver.find_element_by_id('u').clear()
driver.find_element_by_id('u').send_keys('QQ')
driver.find_element_by_id('p').clear()
driver.find_element_by_id('p').send_keys('密码')
# 登录
driver.execute_script("var login=document.getElementById('go');login.click();")
driver.implicitly_wait(3)
# 获取Cookie
cookie = driver.get_cookies()

最后,使用get_cookies()方法,获取QQ空间登录后的Cookie。因为在Phantomjs中,click()方法对于一些标签不是<button>、<a>的按钮无效,而QQ空间触屏版中的按钮大多数都不是<button>标签,例如”继续打开触屏版”为<b>标签,“登录”为<div>标签,所以在调用FireFox等浏览器中直接click()的方式不行,只得在driver中调用execute_script()方法,执行一段JS的点击事件,以进行跳转。

模拟登录成功之后,既可以继续在Phantomjs上直接进行数据爬取,也可以保存下Cookie,利用Cookie进行其他操作,就看个人取舍了。

原文发布于微信公众号 - 州的先生(zmister2016)

原文发表时间:2016-12-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏美丽应用

Linux Deploy:部署图形界面环境

3221
来自专栏数据星河

如何对第一个Vue.js组件进行单元测试 (上)

  单元测试是持续集成的关键。通过专注于小的、独立的实体,确保单元测试始终按预期运行,使代码更加可靠,你可以放心地迭代你的项目而不必担坏事儿。

1092
来自专栏PHP在线

高并发系统中的常见问题

本文一共分析了三个案例,分别介绍并发系统中的共享资源并发访问、计算型密集型任务缓存访问 、单一热点资源峰值流量问题和解决方案。 Q1:订票系统,某车次只有一张火...

3319
来自专栏听雨堂

JQuery笔记(三) jquery的用途

  近期jquery的学习经历了一些反复:开始时觉得非常强大,比js好用,和css关系密切,一句话:完美。等到把《锋利的JQuery》看完,又有点不知道用它来干...

2919
来自专栏别先生

Intellij Idea中Backspace无法使用,Ctrl+c/Ctrl+d等等快捷键无法使用的问题的解决

1:作为一个强迫症的我使用习惯了Eclipse,可能是对快捷键的依赖性,都说Idea是开发Java的最好工具,下载,安装等等(过程省略,百度很多方法),这里说一...

3196
来自专栏菩提树下的杨过

android 模拟器安装二三事

今天在测试一个手机版网站时,发现“微软的wp7”跟“苹果的iOS”对于<select>..</select>元素的触摸操作不太一样,wp7是全屏切换到一个上下滚...

33010
来自专栏macOS 开发学习

Mac 开发之 做一个JSON转模型属性的小公举

好啦,到这里就简单完成了这个小工具,继续学习的,可以给这个工具添加一个状态栏按钮(可以参考我前面的文章),也许会用起来更方便哦..

1012
来自专栏Danny的专栏

html页面导出为pdf(jsPDF、iText、wkhtmltopdf)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

8551
来自专栏Python专栏

用Python给程序加个进度条

3383
来自专栏KaliArch

Python实现腾讯云CDB备份文件自动上传到COS

40917

扫码关注云+社区