Python爬虫:selenium的填坑心得

在之前的文章中说过,模拟浏览器在现在的python库中有两个选择Mechanize与Selenium:然而Mechanize不支持JavaScript,Selenium是一套完整的Web应用程序测试系统。所以对于爬虫开发来说selenium就成了爬虫开发的核武器,可以有效的帮助我们(1.无脑的执行JavaScript渲染页面;2.规避反爬)。

在此之前实现的十几万网站的频道识别是绝对不能算是定点爬虫的了,所以只好祭出核武器。

网上关于selenium的教程有很多,这里细数selenium的注(yi)意(xie)事(shen)项(keng):

一、关于web_driver的选择

phantomjs:不要选!不要选这个!phantomjs相信是很多爬虫使用者在接触selenium时使用的的一个浏览器了。无头(无界面)浏览器。但是,phantomjs已经放弃维护了,使用中会出现进程无法正常关闭的情况,只能通过系统脚本kill,还有一个问题可以说非常致命了,在driver异常的时候不仅无法正常退出还可能将cpu占满,很可能导致你其他进程的执行失败。不推荐,真的不推荐。

firefox:没有phantomjs那两个问题,用起来相对正常(有种说法是selenium对firefox支持最好)。缺点在于没有无界面模式(也许有,但我翻了很多文档都没找到);在程序异常是会输出大量日志文件挤占磁盘空间(win下默认输出在c:\windows\temp\)。这两个缺点相对比较好克服,第一点,反正你一般也不会在你的爬虫集群上面的机器进行操作所以影响不大;第二点,写个脚本让磁盘空间不足的时候自动删除这个目录就好了。

Chrome:我现在使用的是这个。有无界面模式,缺点除了占点内存也没什么(内存占用并没有很夸张,比phantomjs多1/3不到的样子)。希望谷歌爸爸的Chrome就这样坚持下去不要出问题。

关于selenium使用代理的问题

二、假如你抓的是会封ip的网站,那你除了sleep更需要使用代理。给出常用设置方法:

phantomjs:不要选!不要选这个!phantomjs相信是很多爬虫使用者在接触selenium时使用的的一个浏览器了。无头(无界面)浏览器。但是,phantomjs已经放弃维护了,使用中会出现进程无法正常关闭的情况,只能通过系统脚本kill,还有一个问题可以说非常致命了,在driver异常的时候不仅无法正常退出还可能将cpu占满,很可能导致你其他进程的执行失败。不推荐,真的不推荐。

firefox:没有phantomjs那两个问题,用起来相对正常(有种说法是selenium对firefox支持最好)。缺点在于没有无界面模式(也许有,但我翻了很多文档都没找到);在程序异常是会输出大量日志文件挤占磁盘空间(win下默认输出在c:\windows\temp\)。这两个缺点相对比较好克服,第一点,反正你一般也不会在你的爬虫集群上面的机器进行操作所以影响不大;第二点,写个脚本让磁盘空间不足的时候自动删除这个目录就好了。

Chrome:我现在使用的是这个。有无界面模式,缺点除了占点内存也没什么(内存占用并没有很夸张,比phantomjs多1/3不到的样子)。希望谷歌爸爸的Chrome就这样坚持下去不要出问题。

三、关于selenium使用代理的问题

假如你抓的是会封ip的网站,那你除了sleep更需要使用代理。给出常用设置方法:

phantomjs:

firefox:

Chrome:

从代码量上来看,我继续安利Chrome

四、selenium的两(san)种等待方式。

time.sleep:不是selenium的等待方式,但有时候简单粗暴出奇迹(原因看下面)。

implicitly_wait(xx):隐性等待。设置了一个最长等待时间,如果在规定时间内网页加载完成,则执行下一步,否则一直等到时间截止。

WebDriverWait类:显式等待,配合until()和until_not()方法。程序每隔x秒看一下,如果条件成立了,则执行下一步,否则继续等待,直到超过设置的最长时间,然后抛出TimeoutException。

最长的等待时间取决于两者之间的大者,如果隐性等待时间 > 显性等待时间,则该句 代码的最长等待时间等于隐性等待时间。

网上说implicit_wait、WebDriverWait存在风险会遇见bug,我在使用时是没遇见网上说法的运行错误的bug,但是在使用显式等待时的确会遇见失效的现象,所以time.sleep出奇迹。

五、切换handle

六、切入iframe

与上面方法类似

七、切入弹窗

切入:

八、切出/回到原始页面

使用与上面三种方法:

九、页面的刷新

我只是觉得很可能很多人不知道这个:

作者本人并不是特别建议在定点抓取类的爬虫中使用selenium,主要原因是因为慢,selenium为了达到跨平台跨浏览器的目的,采用了通过javascript来驱动浏览器动作的方法,而selenium为执行速度依赖于浏览器对js的解析执行速度,偏偏selenium无法很好的界定页面加载情况(是加载完成还是在继续执行某些操作),成也萧何败也萧何。假如定点类抓取中想要执行JavaScript,我本人是用PyV8,是一个Python封装V8引擎的壳。能够利用python来构建出JavaScript的运行时环境。不如后面的文章找一篇说下PyV8好了,大家周末愉快。

本文来自企鹅号 - Python热爱着媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏芋道源码1024

从客户端的角度设计后端的接口

2.请求Path,http://www.online.com/api/ [path]

25630
来自专栏Android开发与分享

【Android】Android开发架构规范【转】

40590
来自专栏黑白安全

PHP代码审计入门之路

虽然市面上的代码审计的文章已经一大把了,但是还是决定重复造轮子,打算作为一个系列来写的,近年越来越多的安全研究人员投入到php应用的漏洞挖掘,相对应的代码安全问...

12220
来自专栏IT派

用Click编写Python命令行工具

在编写Python命令行(CLI)应用程序时,使用Click库进行参数解析的深入教程

28410
来自专栏腾讯移动品质中心TMQ的专栏

测试人员代码分析5步法

前言 随着测试行业的发展,测试攻城狮也越来越关注产品的源码了。在很多团队中,读懂代码的实现是做好测试的重要一步,但是读懂代码这件事非常依赖代码能力,没有什么捷径...

328100
来自专栏游戏杂谈

关于seajs

虽然已经有很长时间没写JavaScript,但很多时候看到一些应用还是会带着好奇心去研究一下。之前是看腾讯的朋友网,它的webchat做的很不错(虽然ff下有b...

41130
来自专栏落影的专栏

iOS电商类APP的研发

前言 本文是研发一个在线超市的电商类APP过程中,对架构的整理。 ? 功能: 1、浏览商品、购买商品、切换商店; 2、查看订单、订单投诉、意见反馈; 3、...

870100
来自专栏云计算

JClouds的命令行界面

我已经使用jclouds一年多了,也一直为它的进步做贡献。目前为止,我已经在很多领域广泛地使用它,特别是在 Fuse Ecosystem 。总之,它是一个特别棒...

27370
来自专栏JackieZheng

Nodejs学习笔记(四)——支持Mongodb

前言:回顾前面零零碎碎写的三篇挂着Nodejs学习笔记的文章,着实有点名不副实,当然,这篇可能还是要继续走着离主线越走越远的路子,从简短的介绍什么是Nodejs...

23450
来自专栏阮一峰的网络日志

处理Apache日志的Bash脚本

去年一年,我写了将近100篇网络日志。 现在这一年结束了,我要统计"访问量排名",看看哪些文章最受欢迎。(隆重预告:本文结尾处将揭晓前5名。) ? 以往,我用的...

38050

扫码关注云+社区

领取腾讯云代金券