首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >如果我们有多个站点,有什么更好的方法来实现刮刮呢?

如果我们有多个站点,有什么更好的方法来实现刮刮呢?
EN

Stack Overflow用户
提问于 2016-01-05 12:36:22
回答 2查看 324关注 0票数 0

如果我们有多个具有不同html结构的站点,那么有什么更好的方法来实现scrapy呢?

  1. 我应该在单个项目中根据站点创建多个蜘蛛吗?
  2. 我应该根据网站创建多个项目吗?
  3. 或者另一种方式,请定义。
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2016-01-05 13:10:30

通常你应该在一个项目中创建多个蜘蛛,每个网站一个,但这取决于这一点。

抓取爬行器还决定如何从一个页面跳到另一个页面,而不是应用解析器回调,解析器回调方法将从页面中提取数据。因为页面是不一样的,所以每个页面都需要一个解析器回调方法。

这些网站通常有不同的网站地图,因此你需要多个蜘蛛,每个网站,这将决定如何跳到另一页。另外,蜘蛛将应用它们的回调来决定如何刮掉该页。

通常,您不需要为多个网站创建多个项目,但这取决于此。如果您的网站具有一些逻辑特性,请将它们放在一个项目中,以便它们可以使用相同的刮伤设置。这样做也更容易,您可以创建基本蜘蛛并继承常用的方法。

票数 1
EN

Stack Overflow用户

发布于 2016-01-05 13:01:31

  1. 不同的网站->相同项目中的不同脚本,如果刮取相同的数据,那么在同一个项目中,两个脚本都可以驻留并使用相同的管道。
  2. 同一网站->同一项目
  3. 不同的网站,不同的数据->不同的项目
  4. 同一个网站,不同的数据->使用两个函数使用callback
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/34611880

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档