这两年爬虫技术应用比较火,最近在学习Scrapy,学习中写了一些笔记,分享给大家。写的不好多多包涵。
一、Scrapy蜘蛛框架
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
二:Scrapy框架
Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下
三:Scrapy框架组件介绍
Scrapy主要包括了以下组件:
四:大白话Scrapy运行流程
五:大官话Scrapy运行流程