刮刀、爬行器和蜘蛛在抓取中的区别
刮刀、爬行器和蜘蛛在抓取中的区别
提问于 2015-12-14 06:20:17
试着阅读Scrapy的代码。“替罪羊”、“爬虫”和“蜘蛛”这几个词令人困惑。例如
scrapy.core.scraper
scrapy.crawler
scrapy.spiders有人能在Scrapy的背景下解释这些术语的含义和差异吗？提前谢谢。
回答 1
Stack Overflow用户
回答已采纳
发布于 2015-12-16 15:02:11
Crawler (scrapy.crawler)是Scrapy的主要入口点。它提供对所有Scrapy核心组件的访问，并用于将扩展功能挂接到Scrapy中。
刮刀器 (scrapy.core.scraper)组件负责解析响应并从中提取信息。它是从引擎上运行的，用来运行你的蜘蛛。
scrapy.spiders是一个包含基本Spider实现(用于编写蜘蛛)的模块，以及一些可用的普通蜘蛛(比如用于基于规则集的爬行的CrawlSpider、用于基于sitemap的爬行的SitemapSpider或用于爬行XML的XMLFeedSpider )。
关于正式文件页的更多信息：
http://doc.scrapy.org/en/latest/topics/spiders.html?highlight=crawlspider#spiders http://doc.scrapy.org/en/latest/topics/api.html?highlight=scrapy.crawler#module-scrapy.crawler
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/34260886
复制相关文章
相似问题
腾讯云开发者
