1回答
浏览了帖子和您建议的解决方案-- 停留在导出HERITRIX_HOME=/PATH/TO/BUILT/HERITRIX。该命令以静默方式运行，但cd $heritrix_home结果为
-bash: cd: /root/heritrix-1.14.4/bin/heritrix:不是目录。chmod
浏览 2提问于2010-11-16得票数 0
1回答
在Java上运行网络蜘蛛
、、、、
C:\Users\I>cd c:\Users\i\Desktop\heritrix-1.14.4
You have to specify either a username and password for theExample: heritrix.cmd --admin=admin:letmein
浏览 4提问于2013-12-09得票数 2
我正在使用Heritrix 3.1.0进行爬行。我正在尝试使用MirrorWriterProcessor保存文件。但是，此选项在crawler-beans.cxml中不可用。org.archive.modules.writer.WARCWriterProcessor“的"warcWriter”替换为"org.archive.modules.writer.MirrorWriterProcessor“我将“路径”配置为"${launchId}
浏览 7提问于2013-07-04得票数 0
我查看了Heritrix文档网站，上面列出了一个Python .ARC文件阅读器。然而，当我点击它时，它是404没有找到。
还有谁知道使用Python的Heritrix ARC阅读器？
浏览 3提问于2009-10-15得票数 2
回答已采纳
由于Heritrix 3.x的开发人员文档大部分已经过时(其中大部分与Heritrix 1.x有关，因为大多数类都已更改或代码已被显着重写/重构)，有人能告诉我系统中处理实际网页内容提取的相关类(或类)我想要做的是获取Heritrix将要抓取的网页的内容，然后将分类器应用于该网页的内容？Heritrix应用正则表达式的内容( html)在哪里(以便查找链接、某些文件类型等)？
浏览 8提问于2013-07-19得票数 0
我正在与Heritrix合作，但我有点纠结于管理它的输出。
我正在研究PageRank，我需要Heritrix生成一个文件来应用排名算法。我需要的文件应该只有每个访问页面的链接和外链。是否可以通过指定哪些内容应包含哪些内容不应包含来自定义Heritrix的输出？我已经尝试过修改cxml文件，但是输出中仍然有很多无用的信息(比如内容页面)。
浏览 5提问于2013-07-25得票数 0
在我们的应用程序中，Heritrix被用作抓取引擎，抓取工作完成后，我们将手动启动一个端点，以便从网站下载PDF。我们想自动化这个下载pdf任务，一旦抓取任务完成。HEritrix是否提供了返回作业状态的URI/webservice方法？(或者)我们是否需要创建一个轮询应用程序来持续监控作业的状态？
浏览 13提问于2016-02-09得票数 0
2回答
你好，我一直在与Heritrix玩，并希望将它包含在一个网站上/允许远程访问它。我查看了手册，发现了-b命令将其绑定到远程主机，但是文档可能更好。
浏览 5提问于2012-10-05得票数 0
回答已采纳
我们需要每两周抓取大量(约15亿)的网页。速度，因此成本，对我们来说是一个巨大的因素，因为我们最初的尝试最终花费了我们超过20000美元。
浏览 6提问于2017-10-11得票数 4
我已经使用Heritrix 2.0 crawler几个月了，但我遇到了巨大的性能、内存和稳定性问题(Heritrix几乎每天都会崩溃，并且没有尝试使用JVM参数来限制内存使用)。
浏览 2提问于2009-10-31得票数 4
回答已采纳
问题/证据<!--[if (gt IE 8)|!(IE)]><!-->问题
我该如何克服这个问题？它是Heritrix bug，还是我们可以通过爬虫-bean声明来解决的问题？
浏览 5提问于2015-06-18得票数 1
回答已采纳
1回答
我发现了一些用于解析robots.txt文件的librairies，但它们都不支持Googlebot风格的模式匹配：
有人知道有一个java库可以做到这一点吗？
浏览 3提问于2011-08-30得票数 7
第1天:通过将maxDocumentsToDownload指定为100，在heritrix中创建抓取作业。第2天:在heritrix中克隆上述作业并运行。
浏览 12提问于2016-02-03得票数 0
1回答
当我运行Heritrix时，我的web服务器gzip的JS + CSS资产。
这被证明是一个问题，因为当通过Wayback加载.warc文件时，它仍然编码为gzip。
浏览 3提问于2013-09-18得票数 0
我认为需要帮助编译Heritrix决定规则，尽管我愿意接受Heritrix的其他建议：
我需要刮一整份的网站(在爬虫-beans.cxml种子列表)，但不刮任何外部(场外)页面。
浏览 6提问于2015-05-26得票数 3
回答已采纳
使用Heritrix 3.2.x，我抓取了一个网站，现在我想从创建的warc文件中读取HTML内容。有人能帮上忙吗？我尝试使用python warc和基于java的warc tools.jar。
浏览 21提问于2016-08-26得票数 0
如何使Heritrix继续抓取已找到且不在种子列表中的域名？
我的意思是让它不停止爬行在种子列表中的所有域名。并为它在爬行过程中找到的每个链接继续爬行过程。
浏览 4提问于2011-10-03得票数 0
2回答
我是Heritrix的新手，正在使用heritirx 1.14。我不知道如何做以下事情: 1)绑定下载链接的BFS深度到一个特定的数字，例如3.2)限制下载的类型为html和text。
浏览 1提问于2010-06-20得票数 1
云服务器
ICP备案
对象存储
腾讯会议
云直播
腾讯云开发者
