左手用R右手Python系列——动态网页抓取与selenium驱动浏览器

但是所有这些都是基于静态页面的(抓包与API访问的除外),很多动态网页不提供API访问,这样就只能寄希望于selenium这种基于浏览器驱动技术来完成。

好在R语言中已经有了selenium接口包——RSelenium包,这为我们爬取动态网页提供了可能。我在今年年初写过一个实习僧网站的爬虫,那个是使用R语言中另一个基于selenium驱动的接口包——Rwebdriver来完成的。

当时技术不太成熟,思路也比较幼稚,我使用了导航器硬生生的遍历了500页内容,虽然最后也爬完了所有数据,但是耗时较长(将近40分钟),效率比较低。(感兴趣的小伙伴儿可以参考下上面那篇,不过实习僧的官网近期有较大改版,现在爬取难度肯定要比当初难多了!那个代码可能无法使用了)

最近抽时间学习了下RSelenium包的相关内容,这里感谢陈堰平老师在R语言上海大会现场所做《用RSelenium打造灵活强大的网络爬虫》的演讲,虽然未达现场,但是有幸看完视频版,其中的几个细节解决了我近段时间的一些困惑,这里表示感谢。

陈堰平老师主讲:《用RSelenium打造灵活强大的网络爬虫》

http://www.xueqing.tv/course/88

一个老外关于RSelenium的入门视频(youtobe请自行翻墙):

https://www.youtube.com/watch?v=ic65SWRWrKA&feature=youtu.be

当前R语言中能做到解析动态网页的有以下几个包(欢迎补充):

RSelenium(推荐)

Rwebdriver(不很成熟)

seleniumpipes(结合RSelenium更高效)

rdom(高级封装,灵活性不够)

Rcrawler(支持多进程)

webshot(专门用于动态网页截图)

本节以下内容正式分享今日案例,目标是拉勾网(不要问为什么,因为之前我还没有爬过拉钩)!

在介绍案例之前,请确保系统具备以下条件:

本地有selenium服务器并添加系统路径;

本地有plantomjs浏览器并添加系统路径;

安装了RSelenium包。

因为涉及到自动化点击操作,Chrome浏览器倒腾一下午硬是在点击环节出故障,找到了原因,因为拉勾网页面很长,而下一页按钮不在默认视窗范围内,使用了js脚本控制滑动条失败,原因不明,看到有人用firefox浏览器测试成功,我还没有试过,这里改用plantomjs无头浏览器(无需考虑元素是否被窗口遮挡的问题。)

R语言版:

启动服务

构建自动化抓取函数:

运行抓取函数

Python:

启动服务

构建抓取函数

运行抓取程序

本文来自企鹅号 - 数据小魔方媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

开源爱好者必看!开源许可证基础知识扫盲

作为一个开发者,如果你打算开源自己的代码,千万不要忘记,选择一种开源许可证(license)。 许多开发者对开源许可证了解很少,不清楚有哪些许可证,应该怎么选择...

4028
来自专栏FreeBuf

利用qq钓鱼或者定位女友是否回家

前言 随着手机开始普及,现在几乎是人手一部手机,而且qq是必装的app,这正好给了骗子可乘之机,根据你的爱好,给你推送相应的内容,让你防不胜防。 看看下面的聊天...

2865
来自专栏zhisheng

告诉你们一个好消息

《通过项目逐步深入了解Mybatis》系列文章已在简书、掘金、segmentFault、CSDN受到一大波的好评。 今天晚上特意整理下来成一篇文章,本来是想发布...

34810
来自专栏阮一峰的网络日志

开源许可证教程

作为一个开发者,如果你打算开源自己的代码,千万不要忘记,选择一种开源许可证(license)。 许多开发者对开源许可证了解很少,不清楚有哪些许可证,应该怎么选择...

3017
来自专栏沈唁志

更换服务器遇到的破事

2024
来自专栏云计算教程系列

如何在Ubuntu上搭建方舟:生存进化服务器

《方舟:生存进化》(英语:Ark: Survival Evolved)是一款由Studio Wildcard制作与发行的生存类沙盒动作冒险游戏,使用虚幻4引擎打...

3383
来自专栏linux驱动个人学习

IPC- Posix与system v

 一、功能上的区别 posix和system v有什么区别/?现在在应用时应用那一标准 浮云484212 | 浏览 243 次 2014-11-06 10:36...

3469
来自专栏九彩拼盘的叨叨叨

一起做练手项目的说明 Beta版

在最近的前端交流群里的问卷中发现,大部分参加问卷的希望有人带着项目。应大家的要求,我们小组会推出一起做项目的活动。

853
来自专栏Android 开发者

Android Power Placeholder | 中文教学视频

持久稳定的电量是每一位用户,各个设备厂商,以及开发者的共同诉求。Android 9 Pie 在之前版本的基础上,继续优化电量管理,并推出了电量功能如下:

652
来自专栏知晓程序

详细测评!在微信里做问卷调查,哪个小程序更好用?| 晓 PK #6

在微信发放问卷,是一个不错的渠道,毕竟亲朋好友都乐于帮忙,而小程序分享的便利性,让它成为一个收集问卷的优选载体。

1333

扫码关注云+社区