腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Apache
Nutch
未抓取in-links中的所有网站
、
、
我已经使用Hadoop/Hbase生态系统
配置
了Apache
Nutch
2.3.1。以下是
配置
信息。more)|urlnormalizer-(pass|regex|basic)|scoring-opic</value> 有3个计算节点运行
Nutch
现在的问题是,在使用5000个
域名
作为起始种子之后,
nutch
只获取了很少的
域名
浏览 4
提问于2018-05-08
得票数 0
1
回答
nutch
再次访问页面的时间表
、
、
、
我已经使用Hadoop/Hbase生态系统
配置
了
Nutch
2.3.1。我有几百个
域名
,我想要获取。到目前为止,我已经拿到了很多。我很好奇
Nutch
什么时候会再次访问已经获取的文档,如果它是更新的,就重新获取它。有什么控制参数或类似的东西吗?
浏览 6
提问于2018-05-04
得票数 0
1
回答
Nutch
-抓取新发现的域
、
、
、
、
我们使用
nutch
1.6来抓取网络。根据
nutch
的
配置
,应该给种子列表和域url-filter来遍历指定的域。但是,如果新发现的url的扩展名是co.uk (仅用于此扩展名),我们可以通过将新发现的url的域添加到文件或数据库中来管理它,停止爬虫,更新
域名
url过滤器和种子列表,然后重新启动它。附言: co.uk
域名
扩展只是一个例子,我们也可以添加多个扩展来允许。
浏览 0
提问于2013-04-08
得票数 0
回答已采纳
1
回答
使用Eclipse/IntilliJ IDEA进行
Nutch
Hadoop开发
、
、
、
、
我是
Nutch
hadoop开发的新手。我已经成功
配置
了Hadoop 2.7.3,
Nutch
1.12与Solr 6.3集成。如何使用集成开发环境开发定制的爬行和数据
检索
应用程序,比如Eclipse或IntelliJ。(我更喜欢Intellij IDEA)?我有spark和hadoop开发的初学者水平的技能,但停留在这个阶段如何使用hadoop的
Nutch
和solr。
浏览 2
提问于2017-01-11
得票数 2
3
回答
为什么
Nutch
(v2.3)只抓取种子URL,而不是抓取整个网站?
、
、
与其抓取我在seed.txt文件中所写的URL的整个网站,
Nutch
只在第一轮中
检索
该基本URL。我需要运行更多的爬行,以便
Nutch
检索
更多的URL。http://www.whads.com/ 设置
Nutch
的
nutch
-site.xml
配置
文件。在
Nutch
的regex-urlfilter.txt
配置
文件中添加了“接受任何其他的”规则,按照StackOverflow和
Nutch<
浏览 8
提问于2017-06-26
得票数 0
回答已采纳
1
回答
针对特定语言内容的Apache
Nutch
排名算法
、
、
我已经使用Hadoop/Hbase生态系统
配置
了
Nutch
2.3.1来抓取乌尔都语内容。对于语言检测,我自定义了fetcher和find language。我也必须找到新的Urdu
域名
。 我仍然面临着为fetch选择urls的问题。随着时间的推移,inlink数据越来越多,其中包括很多不是Urdu的URL。
Nutch
正在选择(生成器)大约90%的这些没有Urdu内容的urls。由于这个原因,我的资源被浪费了,因为获取的新Urdu内容非常少。我怎样才能让
Nutch
喜欢那些可能包含Urdu内容的领
浏览 16
提问于2018-08-27
得票数 0
回答已采纳
1
回答
从运行
Nutch
的服务器
检索
数据?
、
我使用
nutch
在单独的服务器上运行
nutch
搜索。我想将爬行的数据
检索
回我的本地机器。是否有一种方法可以使用
nutch
转储功能转储数据并通过API
检索
数据,还是最好将数据索引到Solr中并从Solr
检索
数据。谢谢你的帮助。
浏览 2
提问于2020-03-11
得票数 0
回答已采纳
1
回答
Nutch
和solr索引黑名单域
、
、
我正在使用
nutch
1.9和solr 4.10 .I,希望避免在
nutch
和solr中使用
域名
www.aaa.com gettign index 在
nutch
configuration conf/domainblacklist-urlfilter.txt
浏览 0
提问于2016-02-17
得票数 0
1
回答
本地Eclipse中的Apache
Nutch
1.9将在Amazon EMR上远程运行
、
、
、
、
我现在正在尝试从我的Eclipse内部运行Apache
Nutch
1.9。我做了Ant构建来创建
Nutch
Eclipse项目,并且我正在成功地在Eclipse工作区中导出。您能指导我如何让我的Apache
Nutch
Eclipse项目在Amazon EMR上运行,而不是在本地运行吗?我不想创建一个JAR并运行它。我想在Eclipse中像往常一样运行它-->。
浏览 2
提问于2015-04-20
得票数 0
1
回答
Nutch
2.3.1不能抓取没有
域名
的内部链接
我有一个
nutch
设置在一个地方抓取许多网站一次,但对于一个网站,特别是因为像href=的内部链接“一个没有
域名
的链接”
nutch
不能看到这些网址,下面是
nutch
网站<property><value>true</value> <!
浏览 22
提问于2017-03-14
得票数 0
1
回答
用
Nutch
2.3
配置
MongoDB,关于indexerJob的一些错误?
、
我已经成功地
配置
了MongoDB(5.3.1)和
Nutch
(2.3),当我运行命令"./bin/
nutch
index -all“时,在inject/generate/fetch/fetch/parse/updatedb命令工作后打印出一些错误,错误详细信息如下: at
浏览 1
提问于2016-03-18
得票数 1
1
回答
输出到solr的
nutch
服务器
、
我有rest
nutch
服务器,我可以创造就业机会和一切。 如何将
nutch
服务器
配置
为输出到solr?在conf文件中没有找到任何
配置
(
nutch
-site,
nutch
-默认)
浏览 2
提问于2016-05-18
得票数 0
回答已采纳
2
回答
提供带有自定义文件的EMR节点
、
、
、
问题是,
Nutch
找不到插件类(我在用-Dplugin.folders指定插件位置)。我在本地测试了这个选项,它运行良好:java -cp app.jar -Dplugin.folders=./
nutch
-plugins。at org.apache.
nutch
.net.URLNormalizers.=hdfs:///tmp/
nutch
-pluginshadoop fs -cp file:///tmp/
浏览 0
提问于2019-07-24
得票数 1
回答已采纳
1
回答
线程FetcherThread没有更多可用的工作。获取. .com/ failed : java.net.SocketTimeoutException: connect
当给bin/
nutch
获取$s1时,跟随面临以下问题-finishing thread FetcherThreadactiveThreads=1, spinWaiting=0, fetchQueues.totalSize=0, fetchQueues.getQueueCount=1 fetch of http://
nutch
.apache.org
浏览 1
提问于2016-01-13
得票数 1
回答已采纳
1
回答
可以使用solr-web插件为Liferay创建静态索引字段吗?
、
、
、
我需要与
Nutch
中的以下
配置
类似的
配置
<name>index.static</name> </property> 这会将字段"source“作为索引添加到
Nutch
中的所有文档中,并将其值作为"
nutch
”。
浏览 0
提问于2012-07-20
得票数 0
1
回答
solr不会索引
nutch
抓取的所有url
、
我正在使用
nutch
2.2.1抓取Eventbrite.com,但并不是我从
nutch
收到的所有url都没有被solr索引。我已经修改了
nutch
-site.xml文件以允许url中的特殊字符。因为我将url的内容存储在hbase中。我可以看到其他urls的html内容正在被
检索
。但不是从这几页。是否需要修改其他
配置
文件?
浏览 2
提问于2014-07-30
得票数 1
1
回答
当使用
Nutch
索引数据时,html的格式丢失
、
、
、
我试图在
Nutch
设置中抓取示例html文件,当我
检索
NutchDocument (org.apache.
nutch
.indexer.NutchDocument)以读取内容时,我将获得以下文本格式的数据52e6d9e5e5e96e2cfac7fcd92cd117f8] boost: [1.0] title: [
Nutch
1] url: [file://
浏览 0
提问于2018-04-18
得票数 0
回答已采纳
1
回答
Apache
Nutch
2.3.1在选择点提供了更多的种子
域名
、
、
、
我已经为apache
Nutch
2.3.1
配置
了完整的Hadoop/Hbase生态系统。我希望我的爬虫应该给那些在每次迭代中以种子形式给出的域更多的偏好。让我们说,我希望40%选择的网址应该是从外部链接(而不是在种子)和60%的网址应该属于在种子中给出的
域名
。这是可能的吗?如何实现? 我认为是生成器步骤导致了这种行为。
浏览 9
提问于2018-03-28
得票数 0
2
回答
我需要像Apache
Nutch
这样没有Hadoop的开源爬虫
、
、
我不喜欢通过实现
Nutch
拥有的所有这些好特性来重复发明轮子,同时我也不喜欢Hadoop在这个小任务上的开销。 有没有没有Hadoop的
Nutch
分支?或者任何其他具有这些功能的简单爬虫?我更喜欢
Nutch
的叉子,因为我有使用它的经验。
浏览 0
提问于2014-04-03
得票数 2
1
回答
如何为apache
nutch
设置Regex网站URL?
、
、
我正在尝试设置apache
nutch
只抓取指定
域名
的网站使用正则表达式。我没有太多使用Regex的经验,而且我在如何在Regex中做我的
域名
时遇到了麻烦。
域名
是https://www.health.gov.au/,我希望任何网页与这个
域名
后面的任何其他要被接受的正则表达式。
浏览 16
提问于2020-02-26
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
配置虚拟域名简化URL路径
7Nginx如何配置多个域名
Heroku 教程:自定义域名配置 HTTPS
自定义域名Github Page 博客Hugo配置 https
Knative 实战:如何在 Knative 中配置自定义域名及路由规则
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券