使用 Scrapy
已经有一段时间了,觉得自己有必要对源码好好的学习下了,所以写下记录,希望能加深自己的理解。
Scrapy | A Fast and Powerful Scraping and Web Crawling Framework
接下来说到的是最新版本: Scrapy 1.5,暂且把 Spider
称为 蜘蛛,而不是爬虫。
Scrapy是一个开源爬虫框架,用于抓取网站并提取有用的结构化数据,如数据挖掘,信息处理或历史档案。
尽管Scrapy最初是为网页抓取设计的,但它也可以用于使用API(如Amazon Associates Web Services)或作为通用网络抓取工具提取数据。
一个最简单的例子,相信大家都写过
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/tag/humor/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').extract_first(),
'author': quote.xpath('span/small/text()').extract_first(),
}
next_page = response.css('li.next a::attr("href")').extract_first()
if next_page is not None:
yield response.follow(next_page, self.parse)
一般来说,创建一个Scrapy项目需要如下流程:
scrapy startproject spider
创建爬虫模板scrapy.Spider
,重写parse
方法和逻辑parse
方法中yield
或return
字典、Request
、Item
Item
、Middlewares
、Pipelines
等scrapy crawl <spider_name>
或新建文件cmdline.execute("scrapy crawl spider_name".split())
运行(便于调试)这是一张非常经典的图,基本上说到Scrapy都会用到它,来源于Architecture overview
Scrapy Engine
:引擎,负责控制系统所有组件之间的数据流,并在发生某些操作时触发事件;Scheduler
:调度器,接收来自引擎的请求,并将它们排入队列,以便在引擎请求它们时将它们提供给它们(也提供给引擎);Downloader
:下载器,负责从网络上获取网页并将它们返回到引擎,然后引擎将它们返回给蜘蛛/spiders;Spiders
:蜘蛛,是用户编写的自定义类,用于解析响应并从中提取项目(也称为抓取的项目)或追加其他请求;Item Pipeline
:管道,负责输出结构化数据,可自定义输出位置,典型的任务包括清理,验证和持久性;Downloader middlewares
:下载中间件,位于引擎和下载器之间的特定钩子/hooks,当它们从引擎传递到下载器时处理请求,以及从下载器传递到引擎的响应,常用于如下情况:Spider middlewares
:Spider中间件,特定的钩子,位于引擎和蜘蛛之间,能够处理蜘蛛输入(响应)和输出(项目和请求),常用于如下情况:Event-driven networking
:事件驱动的网络,Scrapy是用Twisted编写的,这是一个流行的事件驱动的Python网络框架。 因此,它使用非阻塞(又称异步)代码来实现并发。Twisted is an event-driven networking engine written in Python and licensed under the open source MIT license.
Scrapy中的数据流由执行引擎控制,如下所示:
start_urls
)。Downloader
会生成一个响应(包含该页面)并将其发送到引擎,并通过Downloader Middlewares
。Downloader
收到响应并将其发送给Spider
进行处理,并通过Spider Middleware
传递。Spider
处理响应,并通过Spider
中间件将抓取的项目和新的请求(后续)返回给引擎。找到一张图,便于理解:
第一期差不多就到这了,没有说很多代码,主要是宏观上来观察 Scrapy
的架构,是如何运行。之后会更多的查看Scrapy的源代码,就近是如何采集数据的。
(内心有点小恐慌,不知道会写成什么样子。)
关于如何阅读项目源代码,找到一篇不错的文章,共享:如何阅读开源项目
主要是这几部分:
本文分享自 Python爬虫与算法进阶 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!