前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >不用一行代码,就写了个爬虫!这款谷歌插件已经打包好了!

不用一行代码,就写了个爬虫!这款谷歌插件已经打包好了!

作者头像
Python进击者
发布2020-03-24 15:08:52
1.2K0
发布2020-03-24 15:08:52
举报
文章被收录于专栏:JAVAandPython君

前言

已经好几天没写原创了,这些天主要是在学习一些新的知识,所以没时间去写文。前几天发现了一个比较有用的谷歌插件,大家看标题也许已经知道它有啥用了。下面给大家介绍一下这款插件的用法,文末也提供了下载链接。

使用

首先简单介绍一下是个啥插件:

如图所示

确保安装成功插件后,我们就可以愉快的玩耍了。

第一步,打开熟悉的开发者工具。

可以看到,最右边多了一个webscrapyer的选项栏。

找到地方后,我们找个网站来爬爬。

我这里找的是菜鸟笔记的网站,地址扔给大家,大家可以先拿它练练手。

代码语言:javascript
复制
https://www.runoob.com/w3cnote

接下来怎么做呢?

点击Create Sitemap创建一个项目。

填写相关信息,在开始url那个框里,可能大家注意到后面加了个[1-10:1]这代表着我要爬取前十页的数据。这里也是对url进行了一个简单的分析。

创建完成,增加一个选择器。

由于,我这里只是简单的给大家操作一下怎么爬取,所以我这里就爬取前十篇文章中的标题,插件了也有很多的爬取方式,大家可以试一试。

首先我们锁定外面的红框

大家按照我的图片上操作,选择自己要爬取的元素。

保存之后

点击id,进行下一步选定爬取元素。

选定标题后,记得选择父节点,保存。

完事之后,我们就可以愉快的运行了!

点击爬取。等待它自动爬取。

过一小会就可以看到数据了,数据支持导出!

总结

这个插件对于一些简单的静态爬虫还是处理的很不错的。不用写一行代码,可以节省我们的时间,直接点几下鼠标就能写个简单的爬虫,所以推荐给大家。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-03-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python进击者 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 使用
  • 总结
相关产品与服务
云开发 CLI 工具
云开发 CLI 工具(Cloudbase CLI Devtools,CCLID)是云开发官方指定的 CLI 工具,可以帮助开发者快速构建 Serverless 应用。CLI 工具提供能力包括文件储存的管理、云函数的部署、模板项目的创建、HTTP Service、静态网站托管等,您可以专注于编码,无需在平台中切换各类配置。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档