如何在分布式模式下运行apache nutch
如何在分布式模式下运行apache nutch
提问于 2015-09-24 12:45:59
我使用的是Apache Nutch 2.3。我有一个由4个Hadoop (1.2.1)节点组成的小型集群。我正在运行爬虫程序的一个实例。它每天抓取大约30k-50k个页面。我不得不每天抓取更多的页面(假设价值约为100万)。我已经尝试了Nutch的FAQ中的不同问题。但是抓取的文档不能增加。我认为我应该在完全分布式模式下运行Nutch (我期望Nutch的完全分布式模式运行多个实例)。
我的问题的解决方案是什么？
回答 1
Stack Overflow用户
发布于 2016-03-12 04:08:52
通常，您应该增加site.xml的值并将topN (在nutch-site.xml中)的值设置为-1
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/32753538
复制相关文章
相似问题
腾讯云开发者
