前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >简易数据分析 06 | 如何导入别人已经写好的 Web Scraper 爬虫

简易数据分析 06 | 如何导入别人已经写好的 Web Scraper 爬虫

作者头像
卤代烃
发布2020-07-09 15:36:52
8690
发布2020-07-09 15:36:52
举报
文章被收录于专栏:超级码力

【这是简易数据分析系列的第 6 篇文章】

上两期我们学习了如何通过 Web Scraper 批量抓取豆瓣电影 TOP250 的数据,内容都太干了,今天我们说些轻松的,讲讲 Web Scraper 如何导出导入 Sitemap 文件。

前面也没有说,Sitemap 是个什么东西。其实它就是我们操作 Web Scraper 后生成的爬虫文件,相当于 python 爬虫的源代码。把 Sitemap 导入 Web Scraper 运行就可以爬取数据。学习了这一章节,就可以分享我们的设置好的爬虫文件了。

导出 Sitemap

导出 Sitemap 很简单,比如说我们创建的 top250 Sitemap,点击 Sitemap top250,在下拉菜单里选择 Export Sitemap,就会跳到一个新的面板。

新的面板里有我们创建的 top250 的 Sitemap 信息,我们把它复制下来,再新建一个 TXT 文件,粘贴保存就好了。

导入 Sitemap

导入 Sitemap 也很简单,在创建新的 Sitemap 时,点击 Import Sitemap 就好了。

在新的面板里,在 Sitemap JSON 里把我们导出的文字复制进去,Rename Sitemap 里取个名字,最后点击 Import Sitemap 按钮就可以了。

这期我们介绍了 Web Scraper 如何导入导出 Sitemap 爬虫文件,下一期我们对上一期的内容进行扩展,不单单抓取 250 个电影名,还要抓取每个电影对应的排名,名字,评分和一句话影评。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-07-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 卤蛋实验室 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档