bin/nutch inject crawl/crawldb urls不工作
bin/nutch inject crawl/crawldb urls是Nutch爬虫框架中的一个命令，用于将待抓取的URL添加到爬虫的URL队列中。具体来说，该命令的作用是将urls文件中的URL添加到crawldb数据库中，以便后续的爬取任务能够获取到这些URL并进行抓取。
Nutch是一个开源的网络爬虫框架，用于从互联网上抓取和索引网页。它采用Java语言开发，提供了一套灵活的工具和API，可以用于构建自定义的网络爬虫应用。
在使用bin/nutch inject crawl/crawldb urls命令时，需要注意以下几点：
- crawl/crawldb：这是Nutch中存储抓取任务信息的数据库，包含了待抓取的URL、已抓取的URL以及相关的元数据。该命令将待抓取的URL添加到这个数据库中。
- urls：这是一个文本文件，包含了待抓取的URL列表。每行一个URL。
使用bin/nutch inject crawl/crawldb urls命令的步骤如下：
- 确保已经安装和配置好了Nutch环境。
- 创建一个文本文件，命名为urls，将待抓取的URL列表逐行添加到该文件中。
- 打开终端或命令行窗口，切换到Nutch的安装目录。
- 运行以下命令：bin/nutch inject crawl/crawldb urls
执行完毕后，Nutch会将urls文件中的URL添加到crawldb数据库中，供后续的爬取任务使用。
Nutch的优势在于其灵活性和可扩展性，可以根据具体需求进行定制开发。它可以应用于各种场景，包括但不限于搜索引擎、数据挖掘、舆情监测等。
腾讯云提供了一系列与云计算相关的产品和服务，其中包括云服务器、云数据库、云存储、人工智能等。具体推荐的腾讯云产品和产品介绍链接如下：
- 云服务器（ECS）：提供弹性计算能力，支持多种操作系统和应用场景。了解更多：https://cloud.tencent.com/product/cvm
- 云数据库（CDB）：提供高可用、可扩展的数据库服务，支持多种数据库引擎。了解更多：https://cloud.tencent.com/product/cdb
- 云存储（COS）：提供安全可靠的对象存储服务，适用于图片、视频、文档等各种类型的数据存储。了解更多：https://cloud.tencent.com/product/cos
- 人工智能（AI）：提供多种人工智能服务，包括图像识别、语音识别、自然语言处理等。了解更多：https://cloud.tencent.com/product/ai
以上是关于bin/nutch inject crawl/crawldb urls命令的解释和相关推荐的腾讯云产品。希望能对您有所帮助。
相关·内容
1回答
如何通过nutch爬网脚本设置topN
solr、web-crawler、nutch
我正试图抓取一个url是的网页，它有2000多个输出url，但当我查询solr时，它显示的文档不到50个，而我期望显示大约2000个文档。我使用以下查询：
./crawl urls TestCrawl http://localhost:8983/solr/ -depth 2 -topN 3000
控制台输出为：
Injector: starting at 2014-12-08 21:36:15
Injector: crawlDb: TestCrawl/crawldb
Injector: urlDir: urls
Injector: Converting injected u
浏览 1提问于2014-12-09得票数 0
1回答
Apache Nutch -路径问题
java、apache、nutch
我正在尝试设置Apache Nutch抓取URL，遵循指南。作为一个较老的指南(该指南适用于1.x版，我使用的是2.3版)，我对结构进行了必要的更改。但是，当我尝试运行爬网时，我得到以下错误：
root@IndiStage:~# /usr/local/nutch/framework/apache-nutch-2.3/src/bin/crawl urls FirstCrawl 2
No SOLRURL specified. Skipping indexing.
Injecting seed URLs
/usr/local/nutch/framework/apache-nutch-2.3/src/
浏览 0提问于2015-11-15得票数 9
1回答
使用cron作业定期重新爬行拉奇
solr、nutch
我已经成功地使用Nutch 1.12爬行了一个网站，并使用以下命令在Solr 6.1中对其进行了索引：
[root@2a563cff0511 nutch-latest]# bin/crawl -i \
> -D solr.server.url=http://192.168.99.100:8983/solr/test/ urls/ crawl 5
当我再次运行上面的命令时，它会说：
[root@2a563cff0511 nutch-latest]# bin/crawl -i \
> -D solr.server.url=http://192.168.99.100:8983/solr/
浏览 2提问于2016-06-19得票数 0
1回答
弄到拉奇爬行的状态了？
solr、nutch
我已经设置了Nutch，并给了它一个网址的种子列表，以爬行。我配置了它，这样它就不会在我的种子列表之外爬行任何东西。种子列表包含大约150万个urls。我跟着向导，像这样踢掉了纳奇：
bin/nutch inject crawl/crawldb urls
bin/nutch generate crawl/crawldb crawl/segments
s1=`ls -d crawl/segments/2* | tail -1`
bin/nutch fetch $s1
bin/nutch parse $s1
bin/nutch invertlinks crawl/linkdb -dir crawl
浏览 6提问于2015-10-08得票数 0
回答已采纳
2回答
从nutch获取链接
web-crawler、nutch
我正在使用nutch 1.3来抓取一个网站。我想得到一个urls爬行的列表，以及来自一个页面的urls。
我获得了使用readdb命令抓取的urls列表。
bin/nutch readdb crawl/crawldb -dump file
有没有办法通过读取crawldb或linkdb来找出页面上的urls？
在org.apache.nutch.parse.html.HtmlParser中，我看到了outlinks数组，我想知道是否有从命令行访问它的快速方法。
浏览 2提问于2011-09-15得票数 10
回答已采纳
1回答
Nutch bin/爬行脚本失败-手动步骤工作良好
apache、shell、solr、nutch
我正在尝试运行Nutch1.6“bin/ script”中提供的脚本，它完成了以下所有手动步骤，这些步骤都是运行和爬行站点所必需的。
当我手动运行这些步骤时，所有操作都很好，并且我的页面按预期进行了索引(尽管只有一个页面，但会查看此)。
创建的文本文件中包含一个URL @种籽/urls.txt
bin/nutch inject crawl_test/crawldb seeds/
bin/nutch generate crawl_test/crawldb crawl_test/segments
export SEGMENT=crawl_test/segments/`ls -tr crawl_
浏览 0提问于2013-04-12得票数 0
2回答
如何在nutch中合并两个爬虫数据库
search-engine、web-crawler、nutch
假设我有两台不同的机器，它们使用nutch爬行两个不同的域。
现在我想把它们的crawldb合并成一个。我该怎么做呢？
我在某处读到过--命令：
bin/nutch mergedb <crawldb1> <crawldb2>
做我想做的事？
此外，假设其中一个爬虫数据库是由本地托管网站的站点生成的，即维基百科爬行自身并将其存储为crawldb1
还有一些其他的网站，比如说stackoverflow也做了同样的事情。
在这种情况下，我可以将这两个crawldb合并为一个，但它会以某种方式修改它们，以反映它们的实际url，而不是相对的url(我的意思是url，wrt，数据库
浏览 0提问于2013-04-03得票数 0
1回答
IOException IOException #Crawl.run() -> #JobClient.runJob()
eclipse、apache、hadoop、nutch
我和nutch是新来的，所以请容忍我。在我的一个测试爬行过程中，我遇到了一个IOException。我使用的是Nutch1.6和Hadoop0.20.2(在设置文件访问权限时选择此版本是为了windows兼容)。
我正在运行nutch在eclipse中。我按照本指南从SVN：导入nutch
我的爬虫代码来自这个网站：
以下是系统异常日志：
solrUrl未设置，索引将被跳过.
爬行开始:爬
rootUrlDir = urls
线程=1
深度=1
solrUrl=null
topN =1
喷射器: 2013-03-31 23:51:11
注射器: crawlDb:爬行/爬行b
注射器: urlD
浏览 1提问于2013-03-31得票数 0
1回答
错误:找不到或加载主类org.apache.nutch.crawl.InjectorJob
apache、nutch
我正在跟踪url 来抓取数据..
当我到达下面的命令时，我将面临错误
bin/nutch inject crawl/crawldb dmoz
我的java路径设置好了..&我的路径中也有类DmozParser
/home/admin/Desktop/nutch-solr/apache-nutch-2.3/src/java/org/apache/nutch
浏览 1提问于2016-01-12得票数 1
回答已采纳
1回答
使用nutch inject对web urls内容进行索引
elasticsearch、web-crawler、nutch
我以递归方式爬行了一个网站，收集了it.Now中提到的所有链接/子链接，即url，我希望它能将所有html内容转储到elasticsearch。
我通过nutch 找到了这样做的方法：
2. Inject the URLs into the Crawldb
nutch inject seed/urls.txt
3. Generate URLs to fetch
bin/nutch generate -topN 40
4. Fetch the pages
bin/nutch fetch -all
在这样做的时候，我得到了下面的错误：
$ ./nutch i
浏览 0提问于2017-03-10得票数 0
2回答
Nutch 1.4与Solr 3.4 -无法爬行URL，“没有URL来获取”
apache、solr、lucene、web-crawler、nutch
我遵循了一个使用cygwin、tomcat、Nutch 1.4和solr 3.4进行网页爬行的教程。我已经可以抓取一个URL一次，但是无论如何，不管我尝试哪个URL，这都不起作用了。运行时/local/conf中的regex-urlfilter.txt如下所示：
# skip file: ftp: and mailto: urls
-^(file|ftp|mailto):
# skip image and other suffixes we can't yet parse
# for a more extensive coverage use the urlfilter-suffix
浏览 0提问于2017-05-18得票数 0
回答已采纳
1回答
在Windows上安装Apache
java、hadoop、solr、nutch
我正试图在Windows 7 (64位)上将Apache与Apache 1.14集成，但在运行Nutch时遇到了一个错误。
我已经做过的事：
将JAVA_HOME env变量设置为: C:\Program Files\Java\jdk1.8.0_25或C:\Progra~1\Java\jdk1.8.0_25
从: WinUtils下载Hadoop 文件，将它们放在c:\winutils\bin中，将HADOOP_HOME env变量设置为c:\winutil，并将c:\winutil\bin文件夹添加到PATH中。
(我尝试了Hadoop WinUtils 2.7.1，但也没有
浏览 3提问于2018-06-20得票数 1
1回答
无法使用nutch解析flv和epub文件内容
linux、parsing、solr、web-crawler、nutch
我正在使用apache nutch和solr，我的要求是解析flv和epub文件的内容，我使用以下命令来解析这些文件
bin/nutch crawl urls -solr http://localhost:8983/solr/
我已将文件urls保存在nutch的urls文件夹中。上面的命令是有效的，但是当我用下面的命令尝试使用solr查看解析后的内容时，它只显示文件的url。
bin/nutch solrindex http://127.0.0.1:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*
请推荐我……
谢
浏览 0提问于2013-05-13得票数 0
回答已采纳
3回答
如何使nutch只索引某些文本的页面？
nutch
我有两个要求。
第一个是我想让Nutch只索引那些包含html中特定单词的页面。例如，我只希望nutch在html中索引包含"wounderful“单词的页面。第二个是，我希望nutch从该网站索引某些网址。例如，我希望nutch索引类似于"mywebsite.com/XXXX/ABC/XXXX“或”mywebsite.com/row.php/ABC/XXXX“的URL，其中"XXXX”可以是任何长度的单词。
这是我的seed.txt文件的内容
http://mysite.org/
这是我的regex-urlfilter.txt的内容
+^http://mysite.o
浏览 4提问于2013-07-07得票数 1
1回答
英语不是我的母语，请原谅我的错误。
我试着在Windows的Cygwin上运行Nutch1.12，然后我使用了。但是当我尝试执行命令行"bin/nutch inject crawl/crawldb urls“时，我在Cygwin中得到了如下结果：
$ bin/nutch inject crawl/crawldb urls
Injector: starting at 2017-03-10 19:29:00
Injector: crawlDb: crawl/crawldb
Injector: urlDir: urls
Injector: Converting injected urls t
浏览 14提问于2017-03-10得票数 1
2回答
在nutch solrindex命令后Solr索引为空
solr、nutch
我使用Nutch和Solr索引文件共享。
I第一期: bin/nutch爬行网址
这给了我：
solrUrl is not set, indexing will be skipped...
crawl started in: crawl-20110804191414
rootUrlDir = urls
threads = 10
depth = 5
solrUrl=null
Injector: starting at 2011-08-04 19:14:14
Injector: crawlDb: crawl-20110804191414/crawldb
Injector: urlDir: urls
浏览 1提问于2011-08-05得票数 2
2回答
Apache步骤解释
apache、nutch
我遵循了以下文章：并设置了apache +solr。但我想澄清一下，我是否理解关于nutch台阶工作的正确性。
1)。注入:在这个部分中，apache从给定的seed.txt中读取url列表，将url与regex-urlfiler regex进行比较，并使用支持的url更新爬行数据库。
2)。Generate: bin/nutch生成爬行/ crawldb爬行/段Nutch从crawldb获取URL，并创建已准备好要获取的URL的获取列表。它接受诸如-topN和时间差等输入，然后在段下创建当前时间的目录。
我相信，在最初的两个步骤中，没有与互联网的互动。一切都发生在当地。
问:取货清单保存在哪
浏览 3提问于2015-04-12得票数 6
回答已采纳
1回答
Nutch-Solr中的索引问题(希望在solr中显示数据)
solr、lucene、nutch
我正在尝试使用、Nutch、和Index来抓取Solr中的数据。
我遵循这个Url 和中的步骤
我已经成功地使用Solrindex命令索引数据
bin/nutch solrindex http://127.0.0.1:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*，但是结果我找不到索引数据。
我想要结果如下图所示
但我在右边看不到任何结果数据。
浏览 3提问于2013-10-05得票数 1
1回答
Apache nutch 1.15安装和运行问题
hadoop、nutch
我正在尝试在Windows10上运行Apache Nutch 1.15 (本地)，我遵循了https://wiki.apache.org/nutch/NutchTutorial和https://wiki.apache.org/nutch/NutchHadoopSingleNodeTutorial上提到的相同步骤。当我尝试在cygwin : bin/nutch inject crawl/crawldb urls上使用以下命令注入urls时，我得到这个错误： Injector: java.io.IOException: (null) entry in command string: null c
浏览 15提问于2019-04-29得票数 1
1回答
Solr索引后的Nutch爬行失败，报告“索引: java.io.IOException:作业失败！”
java、solr、nutch
我在EC2实例上将Nutch1.13与Solr 6.5.1集成在一起。我使用下面的cp命令将schema.xml复制到Solr，我在nutch_home/conf文件夹中的nutch-site.xml中将localhost作为elatic.host。
cp /usr/local/apache-nutch-1.13/conf/schema.xml /usr/local/apache-nutch-1.13/solr-6.5.1/server/solr/nutch/conf/
而且，每次创建托管模式都是因为它是solr 6，直到索引正常为止。我试过的命令是
ec2-user@ip-172-
浏览 0提问于2017-05-19得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
