首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将Apache Nutch 2.3与Hbase 0.94.14和Solr 5.2.1集成时出错

将Apache Nutch 2.3与Hbase 0.94.14和Solr 5.2.1集成时出错
EN

Stack Overflow用户
提问于 2016-05-26 10:48:01
回答 1查看 1K关注 0票数 1

我正在整合纳奇与Hbase和Solr。

启动Hadoop和Hbase服务后,我在Nutch中运行以下命令

sudo -E bin/crawl urls/seed.txt TestCrawl http://localhost:8983/solr/ 2

我正面临这些错误:

代码语言:javascript
复制
Injecting seed URLs
/usr/local/apache-nutch-2.3.1/runtime/local/bin/nutch inject urls/seed.txt -crawlId TestCrawl
InjectorJob: starting at 2016-05-26 15:41:14
InjectorJob: Injecting urlDir: urls/seed.txt
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
    at org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:114)
    at org.apache.gora.store.DataStoreFactory.initializeDataStore(DataStoreFactory.java:102)
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:161)
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:135)
    at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:78)
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:218)
    at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:252)
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:275)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:284)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 10 more
Error running:
  /usr/local/apache-nutch-2.3.1/runtime/local/bin/nutch inject urls/seed.txt -crawlId TestCrawl
Failed with exit value 1.

有人能告诉我它有什么问题吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-07-09 21:01:26

这是Nutch中的一个bug,它无法在执行爬行脚本时找到传递依赖项。

更好的配置是nutch-2.3.1和hbase-0.98.8-hadoop2。

要获得更好的理解,请参考下面的url

https://wiki.apache.org/nutch/Nutch2Tutorial

这是gora-hbase 0.6.1中的一个bug。

此外,添加缺少的hbase-公共-0.98.8-hadoop2.jar传递依赖,这是一个缺陷在gora-hbase 0.6.1

代码语言:javascript
复制
 <dependency org="org.apache.hbase" name="hbase-common" rev="0.98.8-hadoop2" conf="*->default" />

有了这个,我成功地爬行了.

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/37458637

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档