爬虫和爬虫架构
爬虫和爬虫架构
提问于 2012-04-16 11:28:47
当我遇到这个设计问题时，我一直在用php构建一个刮板和爬虫。我想知道创建一个分离爬行和抓取任务的系统(大多数专业系统似乎都是这样做的)和一个在爬虫爬行时抓取任务的系统之间的权衡。我能想到的唯一一件事是，通过将其拆分并使用一个队列，您可以更好地并行化任务，只需询问队列下一个要抓取的页面是什么。谁能想到其他权衡，并向我解释一下这两个程序通常被分成两个程序的主要原因？
注意:在这两种情况下，爬行的顺序是相同的，唯一的区别是页面何时被拉出。
回答 1
Stack Overflow用户
回答已采纳
发布于 2012-04-16 14:15:34
爬虫检索页面，然后爬虫对其进行处理。如果将这些任务分开，则可以更改一个任务的实现，而不更改另一个任务。这就是他们分开的原因:这只是一个好的软件设计。
您给出的示例就是一个很好的例子:如果您在单个类/模块/程序/函数/任何其他类/模块/程序/函数中组合了检索和处理，则在检索页面的方式上的任何更改(例如，并行检索、通过代理检索等)都需要重写整个程序。
这里还有另一个问题:如果你想处理不同类型的数据(例如rss feed而不是html页面)，你需要从头开始编写整个抓取器，并且你不能重复使用你在页面检索上所做的任何工作。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/10168389
复制相关文章
相似问题
腾讯云开发者
