如果我们有多个站点，有什么更好的方法来实现刮刮呢？
如果我们有多个站点，有什么更好的方法来实现刮刮呢？
提问于 2016-01-05 12:36:22
如果我们有多个具有不同html结构的站点，那么有什么更好的方法来实现scrapy呢？
- 我应该在单个项目中根据站点创建多个蜘蛛吗？
- 我应该根据网站创建多个项目吗？
- 或者另一种方式，请定义。
回答 2
Stack Overflow用户
回答已采纳
发布于 2016-01-05 13:10:30
通常你应该在一个项目中创建多个蜘蛛，每个网站一个，但这取决于这一点。
抓取爬行器还决定如何从一个页面跳到另一个页面，而不是应用解析器回调，解析器回调方法将从页面中提取数据。因为页面是不一样的，所以每个页面都需要一个解析器回调方法。
这些网站通常有不同的网站地图，因此你需要多个蜘蛛，每个网站，这将决定如何跳到另一页。另外，蜘蛛将应用它们的回调来决定如何刮掉该页。
通常，您不需要为多个网站创建多个项目，但这取决于此。如果您的网站具有一些逻辑特性，请将它们放在一个项目中，以便它们可以使用相同的刮伤设置。这样做也更容易，您可以创建基本蜘蛛并继承常用的方法。
Stack Overflow用户
发布于 2016-01-05 13:01:31
- 不同的网站->相同项目中的不同脚本，如果刮取相同的数据，那么在同一个项目中，两个脚本都可以驻留并使用相同的管道。
- 同一网站->同一项目
- 不同的网站，不同的数据->不同的项目
- 同一个网站，不同的数据->使用两个函数使用
callback
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/34611880
复制相关文章
相似问题
腾讯云开发者
