前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Scrapy(1)概念预览

Scrapy(1)概念预览

作者头像
公众号---人生代码
发布2020-05-18 16:46:32
7860
发布2020-05-18 16:46:32
举报
文章被收录于专栏:人生代码

文末有视频

Scrapy是一个用Python编写的快速,开放源代码的Web爬网框架,用于在基于XPath的选择器的帮助下从网页中提取数据

Scrapy于2008年6月26日首次发布,获得了BSD的许可,并在2015年6月发布了里程碑1.0

为什么要使用Scrapy?

构建和扩展大型爬网项目更容易。

它具有称为选择器的内置机制,用于从网站提取数据。

它异步处理请求,而且速度很快。

它使用自动节流机制自动调整爬行速度。

确保开发人员可访问性。

Scrapy的功能

Scrapy是一个开源且免费使用的Web爬网框架。

Scrapy以JSON,CSV和XML等格式生成Feed导出。

Scrapy内置支持通过XPath或CSS表达式从源中选择和提取数据。

基于爬虫的Scrapy,可以自动从网页中提取数据。

好处

Scrapy易于扩展,快速且强大。

它是一个跨平台的应用程序框架(Windows,Linux,Mac OS和BSD)。

Scrapy请求是异步计划和处理的。

Scrapy带有称为Scrapyd的内置服务,该服务允许使用JSON Web服务上载项目并控制Spider。

尽管该网站没有用于原始数据访问的API,但是可以删除任何网站。

缺点

对于不同的操作系统,安装是不同的。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-04-23,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CryptoCode 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 为什么要使用Scrapy?
  • Scrapy的功能
  • 好处
  • 缺点
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档