web scraper——安装【一】
在上文中我们已经安装好了web scraper现在我们来进行简单的爬取,就来爬取百度的实时热点吧。
http://top.baidu.com/buzz?...scraper创建站点
进入 创建站点页面 站点名称和爬取地址点击创建站点即可
如果要爬取分页数据那就将参数写成范围的如:
想要爬取微博某博主关注列表的1-5页的粉丝信息,通过url的跳转发现微博关注列表和...然后回到web scraper控制台,查看信息无误后勾选multiple确认无误后,创建element的select
爬取自己想要的信息,点击进入hotList里面,然后继续创建select选择
填写具体的...再次转到web scraper的控制台后,确认无误即可保存
运行脚本,进行采集
默认配置即可,想修改也可以的,我一般直接默认的
点击开始脚本后,会将采集的页面弹出,采集完成右下角会出现提示,采集过程中点击...即可下载
数据内容
到这里使用web scraper进行数据采集就结束了