你试过使用Selenium爬虫抓取数据吗？

来源：http://www.51testing.com

　　几个月前，记得群里一朋友说想用selenium去爬数据，关于爬数据，一般是模拟访问某些固定网站，将自己关注的信息进行爬取，然后再将爬出的数据进行处理。

　　他的需求是将文章直接导入到富文本编辑器去发布，其实这也是爬虫中的一种。

　　其实这也并不难，就是UI自动化的过程，下面让我们开始吧。

准备工具/原料

　　1、java语言

　　2、IDEA开发工具

　　3、jdk1.8

　　4、selenium-server-standalone（3.0以上版本）

　步骤

　　1、分解需求：

　　需求重点主要是要保证原文格式样式都保留：

　　将要爬取文章,全选并复制

　　将复制后的文本，粘贴到富文本编辑器中即可

　　2、代码实现思路：

　　键盘事件模拟CTRL+A全选

　　键盘事件模拟CTRL+C复制

　　键盘事件模拟CTRL+V粘贴

　　3、实例代码

　写在后面

　　小编并不是特别建议使用selenium做爬虫，原因如下：

　速度慢:

　　每次运行爬虫都要打开一个浏览器，初始化还需要加载图片、JS渲染等等一大堆东西；

　占用资源太多:

　　有人说，把换成无头浏览器，原理都是一样的，都是打开浏览器，而且很多网站会验证参数，如果对方看到你恶意请求访问，会办了你的请求，然后你又要考虑更换请求头的事情，事情复杂程度不知道多了多少，还得去改代码，麻烦死了。

　对网络的要求会更高:

　　加载了很多可能对您没有价值的补充文件（如css，js和图像文件）。 与真正需要的资源（使用单独的HTTP请求）相比，这可能会产生更多的流量。

星云测试

http://www.teststars.cc

奇林软件

http://www.kylinpet.com

联合通测

http://www.quicktesting.net