问木偶人爬行器大规模爬行

EN

您可以将要抓取的页面的URL存储在某种队列中，例如使用AWS SQS。然后，您可以使用Node.js在不同的服务器或容器上运行多个Javascript进程。这些工作任务从公共队列中逐个获取链接，并在无头模式下使用Puppeteer爬行相应的页面。如果找到更多需要抓取的链接，那么也可以将它们添加到此队列中(当然，需要避免返回到已经抓取的页面的链接，因为它们会导致无限循环)。结果可以存储在不同的队列或数据库中。如果工作进程崩溃，可以使用常用的开源实用程序之一重新启动它，以管理和监视进程。最终，原始队列将为空，这表明所有页面都已被爬行。

我自己用Puppeteer.js构建了爬虫来抓取谷歌和必应，我为此挣扎了很长一段时间。我强烈建议使用forever-monitor在每次浏览器崩溃或页面调用挂起时重新启动爬行器。其次，hilly建议在页面超过60秒没有响应时添加page.relaod (使用promise)。