3款你必须知道的爬虫工具

本篇博主将和大家分享几个非常有用的爬虫小工具,这些小工具在实际的爬虫的开发中会大大减少你的时间成本,并同时提高你的工作效率,真的是非常使用的工具。

这些工具其实是Google上的插件,一些扩展程序,并且经博主亲测,无任何问题。最后的最后,博主将提供小工具的获取方式。

好了,话不多说,我们来介绍一下。

JSON-handle

解读:

我们前面提到过,当客户端向服务器端提出<ajax>异步请求(比如 <xhr>)时,会在响应里返回 <json> 格式的数据。

在开发者工具中,我们会看到 <json> 格式数据的可视化效果很差,就是一段冗长的字符串,难以直接看出关键信息。

那么为了直接有效的找到关键信息,<JSON-handle>工具会将繁杂的 <json> 格式数据变成简单清晰的树状图,极大的提高可视化效果。

使用说明:

方法很简单,如果你已经安装好了小工具,点开图标弹出框框,把<json>数据复制进去即可。

当然,你也可以把从任意地方拿来的<json>数据放进去,不局限于浏览器异步响应。

实例:

就以<天猫网站>为例,随便找出一个异步的请求,response是下面这样的。

jsonp_46336857({"201509290":{"data":[{"_pos_":1,"entityType":"13","acm":"201509290.1003.1.1286473","title":"【抢券减400】Apple/苹果iPhone X 全网通4G智能手机苹果10 苹果X","typ.......

把代码放进框框里,点击OK,就变成下面这样了数(据比较长,只截取一部分)。

User-Agent Switcher

解读:

上篇我们介绍了请求头,而这个工具就是针对请求头中的User-Agent字段的。它的作用是可以随意更换浏览器的User-Agent。

比如,你用Chrome浏览器浏览网页,浏览器默认身份是Chrome,但是你可以通过这个工具更换成其它任何身份。

这个最大的好处就是可以直接更换成手机身份浏览网页,而不必用开发者工具来回切换。

使用说明:

使用Chrome浏览器安装插件,点开图标,选择你需要的身份即可。

实例:

(默认Chrome浏览器是这样的)

(变换为IOS-iphone6)

Xpath-Helper

解读:

针对Xpath解析方法,Xpath-Helper可提供当前网页指定Xpath语句的查询结果。

使用说明:

点开图标,出现黑色框框。

  • QUERY:Xpath语句
  • RESULTS:查询结果

实例:

1. 假设目标为二维码下的<百度>二字

2. 开发者工具找到源码相应位置,右键copy xpath

3. 复制到QUERY里面,结果自动出来

注:Xpath-Helper小工具安装后需要重启Chrome方可使用,请大家注意一下这个坑。

安装方法

  • 下载Chrome浏览器
  • 下载小工具插件
  • 打开Chrome更多工具—>扩展程序
  • 拖动小工具插件程序<.crx>拖到扩展程序里
  • 安装

安装完成后,右上角会有三个小图标:

原文发布于微信公众号 - Python数据科学(Python_Spiderman)

原文发表时间:2018-01-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏魏艾斯博客www.vpsss.net

Avada 主题导入 improt failed 和 wp_remote_get 怎么解决?

群友搭建 avada 主题的企业站点,导入主题发生以下错误:import failed,演示服务器无法访问,请检查系统状态页面上的 wp_remote_get。

1341
来自专栏bboysoul

本地搭建ios测试包上传下载安装环境(类似蒲公英)

昨天ios开发这小子说公司网很慢每次测试包上传到蒲公英上都要好久,但是公司这网很垃圾是个事实,为了提高他们的效率,我就本地搭建了一个可以上传安装ios测试包的环...

1162
来自专栏Youngxj

[面板分享]传奇域名bt.cn公司的传奇面板程序“宝塔”

2702
来自专栏梧雨北辰的开发录

iOS提交审核失败:通知“has changed to Invalid Binary.”错误

2016-11-09 今天在App提交审核的时候遇到了一个问题,打包上传到itunes Connect的过程都没有问题,但是之后在itunes Connect的...

3457
来自专栏bboysoul

本地搭建ios测试包上传下载安装环境(类似蒲公英)

昨天ios开发这小子说公司网很慢每次测试包上传到蒲公英上都要好久,但是公司这网很垃圾是个事实,为了提高他们的效率,我就本地搭建了一个可以上传安装ios测试包的环...

1981
来自专栏前端大白专栏

angular2项目上线后,当刷新路由时候,找不到Cannot Get ....

2247
来自专栏Samego开发资源

Redis的基本安装与配置

1403
来自专栏云飞学编程

Python学习汇总,做数据采集的一些小技巧,干货满满

学习Python也有一段时间了,在学习过程中不断的练习学到的各类知识,做的最多的还是爬虫,也就是简单的数据采集,有采集图片(这个最多了。。。),有下载电影的,也...

921
来自专栏腾讯移动品质中心TMQ的专栏

Windows开机过程和测试方法探索

用户会经常抱怨自从安装自己的应用后,电脑开机变慢,到底是系统的原因还是应用的原因,为了了解这里的问题,探秘了下windows的开机过程和测试方法。 一、开机过...

25910
来自专栏微信音视频小程序

动手搭建第一个小程序音视频Demo

腾讯云提供了全套技术文档和源码来帮助您快速构建一个音视频小程序,但是再好的源码和文档也有学习成本,为了尽快的能调试起来,我们还提供了一个免费的一键部署服务:您只...

4K12

扫码关注云+社区