根据Apache Nutch1.16Fetcher类实现here - https://github.com/apache/nutch/blob/branch-1.16/src/java/org/apache/nutch/fetcher/Fetcher.java，这是一个只
浏览 15提问于2020-07-21得票数 0
我试图使用Nutch Fetcher获取整个网站，但它只加载第一个网址：new Fetcher(conf).fetch(segment, 1);[INFO] org.apache.nutch.fetcher.Fetcher: Fetcher: starting at 20
浏览 1提问于2019-03-28得票数 0
回答已采纳
2回答
我有两个datanode服务器的nutch/hadoop。我尝试抓取一些urls，但nutch失败，并显示以下错误：Fetcher: org.apache.hadoop.mapred.InvalidInputException(SequenceFileInputFormat.java:44)
at org.apache.nutch.fetcher.F
浏览 0提问于2011-09-10得票数 1
回答已采纳
是我太胖了，还是真的没有办法通过一些Java代码以编程方式调用Apache Nutch？关于如何做到这一点的文档(或指南或教程)在哪里？谷歌让我失望了。所以我真的试过Bing。(另外，如果Nutch是一个垃圾，还有没有其他用Java编写的爬虫，在互联网规模上被实际文档证明是可靠的？)
浏览 4提问于2011-03-24得票数 8
回答已采纳
当我为100万个URL运行nutch作业时，nutch作业失败，并显示 20/10/14 12:40:34 ERROR fetcher.Fetcher: Fetcher: java.lang.RuntimeExceptionJob failed as tasks failed. failedMaps:1 failedReduces:0
at org.apache.nutch.fetcher.Fetcher
浏览 42提问于2020-10-14得票数 0
Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in 'http.agent.nameat org.apache.nutch.fetcher.Fetcher.checkConfiguration(Fetcher.java:1166)
at org.apache.nutch.<em
浏览 4提问于2011-07-05得票数 11
回答已采纳
我正在尝试在云模式下设置Apache Nutch 1.15和Apache Solr 7.6.0。java.lang.RuntimeException: CleaningJob did not succeed, job status:FAILED, reason: NA
at org.apache.nutch</
浏览 13提问于2019-01-11得票数 0
1回答
FetcherThread, activeThreads=0-activeThreads=0 at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:
浏览 4提问于2012-02-15得票数 0
:522) at org.apache.nutch.net.URLExemptionFilters.<init>(URLExemptionFilters.java:39) at org.apache<
浏览 0提问于2019-02-10得票数 0
1回答
在我的nutch-site.xml中，我添加了以下内容以停止截断；但是，在获取过程中，我得到了以下错误。我希望它停止截断，并提供我需要的结果，我假设a -1值会达到。我使用的是2.2.1版本。</description>
线程“主”java.lang.RuntimeException中的异常:作业失败: name=fetch，org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:55)，org.<em
浏览 5提问于2019-08-07得票数 0
回答已采纳
我正在尝试通过eclipse运行nutch和hadoop，并按照几个教程进行了设置。not found
4473 [LocalJobRunner Map Task Executor #0] WARN org.apache.nutch.net.urlnormalizer.regex.RegexURLNormalizer4477 [LocalJobRunner Map Task Executor #0] DEBUG org.apache.nutch.util.ObjectCache - No object
浏览 13提问于2019-11-08得票数 0
回答已采纳
下面是完整的堆栈跟踪： at org.apache.nutch.protocol.httpclient.HttpResponse.<init>(HttpResponse.java:94)
at org.apache.<e
浏览 5提问于2013-10-08得票数 0
我使用的是apache Nutch 2.3。我想跳过apache nutch的抓取步骤，跳到下一个步骤，即解析，也就是说，假设我的爬行处于抓取状态，我想要进入解析步骤，这样它就可以提前完成。如何跳过apache nutch从一步到下一步？
浏览 0提问于2015-02-02得票数 1
我正在尝试在Windows10上运行Apache Nutch 1.15 (本地)，我遵循了https://wiki.apache.org/nutch/NutchTutorial和https://wiki.apache.org/nutch/NutchHadoopSingleNodeTutorial上提到的相同步骤。当我尝试在cygwin : bin/nutch inject craw
浏览 15提问于2019-04-29得票数 1
2回答
我试图在windows环境下使用Nutch1.6，但每次我尝试按照站点中给出的过程运行时，我总是会得到以下异常：PS:如果有帮助，/tmp/文件夹会附加一个只读属性，即使您尝试这样做，它也不
浏览 1提问于2012-12-24得票数 6
: org/apache/nutch/storage/WebPage$Field at org.apache.nutch.scoring.ScoringFilters.<init>(ScoringFilters.java:46)
at org.apache.nutch</em
浏览 7提问于2021-05-07得票数 0
0回答
我想使用Apache Nutch 1.12抓取一个站点，并将数据索引到Apache Solr中。我关注了这个。我的seed.txt文件具有此url 当我尝试获取数据时，我只能得到seed.txt文件中的url。Fetcher: starting at 2017-01-03 09:56:23
Fetcher: segment: crawl/segments/
浏览 6提问于2017-01-03得票数 0
3回答
我对nutch还是个新手。事情是我正在爬行的网址，重定向到另一个网址.Now当分析我的爬行结果时，我得到了第一个网址的内容和状态代码:临时重定向到(第二个网址名称)。
浏览 10提问于2013-07-11得票数 1
路径=$PATH:/home/jimb/hadoop/bin
bin/nutch爬行/data/run/ar/seedurls -dirat org.apache.nutch.fetcher.Fetcher.checkConfiguration(Fetcher.java:1261)
at or
浏览 5提问于2012-01-25得票数 1
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
