Scrapy 是一个用于爬取网站并提取结构化数据的高效爬虫框架,它可以用于各种应用程序/项目,比如数据挖掘、信息处理和档案处理等。最初设计 Scrapy 是用来爬取 Web 数据的,但是现在也可以将它用于爬取 API 信息和作为通用 Web 搜索器来提取数据。
为了向您展示Scrapy带来的好处,我将使用最简单的方式介绍 Scrapy 的示例。下面我们以爬取 http://quotes.toscrape.com/ 网站为例。
import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'http://quotes.toscrape.com/tag/humor/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').get(),
'author': quote.xpath('span/small/text()').get(),
}
next_page = response.css('li.next a::attr("href")').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
将上述代码存储在 quotes_spider.py 文件中,然后使用 runspider
命令来运行这个程序。
scrapy runspider quotes_spider.py -o quotes.json
上述命令执行完成后将会在 quotes_spider.py 的同级目录中出现一个 quotes.json 文件,文件包括作者信息和文本信息,部分内容如下。
[{
"author": "Jane Austen",
"text": "\u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.\u201d"
},
{
"author": "Groucho Marx",
"text": "\u201cOutside of a dog, a book is man's best friend. Inside of a dog it's too dark to read.\u201d"
},
{
"author": "Steve Martin",
"text": "\u201cA day without sunshine is like, you know, night.\u201d"
}]
当运行上述命令时, Scrapy 会在其中查找 Spider 定义,并通过内含的搜索器引擎来运行它。程序开始运行时,会对 start_urls 属性中定义的 URL 发送请求,并将响应结果作为参数传递给默认的回调方法 parse ,在 parse 中我们使用 CSS 选择器遍历 quote 元素,生成包含从响应结果中提取出的文本信息和作者,并查找下一页的链接,最后使用和回调函数相同的方法去请求下一页。 目前为止你可以看到 Scrapy 的主要优势之一:请求是异步调度和处理的。这意味着 Scrapy 无需等待请求完成和处理,它可以同时发送另一个请求或执行其他操作。也意味着即使某些请求失败或在处理过程中发生错误,其他请求也可以继续执行。尽管这这样能够进行非常快的爬取网页,但是还可以通过一些设置来限制爬取网站的方式。例如可以执行以下操作:设置每个请求之间的下载延迟,限制每个域或每个IP的并发请求数量。
现在你已经了解了如何使用 Scrapy 从网站提取数据以及存储项目了,但这仅仅是冰山一角。Scrapy 提供了许多强大的功能,使得抓取网页变得简单而有效,例如:
接下来的步骤是安装 Scrapy,请按照本教程了解如何创建全面的刮刮项目并加入社区 S解析器等等!
接下来的步骤是安装 Scrapy,请按照本教程了解如何创建全面的刮刮项目并加入社区