solr会做网络抓取吗？
Solr 是一个开源的搜索平台，它可以用于搜索各种文本数据。Solr 可以从多种数据源获取数据并对其进行索引，以便进行快速搜索。Solr 不会主动进行网络抓取，但是可以通过配置 Solr 的插件或使用其他工具来实现网络抓取的功能。
Solr 的主要功能包括全文搜索、自动完成、分面搜索、高亮显示、排序、过滤、地理空间搜索等。Solr 可以与其他软件和服务集成，例如 Apache Hadoop、Apache Cassandra、Apache Lucene 等。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云搜索服务：https://cloud.tencent.com/product/solr
- 腾讯云搜索服务产品介绍：https://cloud.tencent.com/product/solr/intro
- 腾讯云搜索服务文档：https://cloud.tencent.com/document/product/581
- 腾讯云搜索服务最佳实践：https://cloud.tencent.com/document/product/581/34219
- 腾讯云搜索服务常见问题：https://cloud.tencent.com/document/product/581/34220
- 腾讯云搜索服务价格：https://cloud.tencent.com/product/solr/pricing
希望这些信息能够帮助您更好地了解 Solr 以及腾讯云搜索服务。
相关·内容
2回答
我可以单独使用solr吗
apache、solr、nutch
我正在建立一个搜索引擎，需要抓取网络，索引它，并能够搜索数据。
我可以单独使用Apache Solr吗?还是需要先使用Nutch来抓取web？
浏览 0提问于2013-07-20得票数 0
回答已采纳
1回答
使用Solr Nutch抓取特定数据
solr、web-scraping、web-crawler、nutch
我看到一些像这样的搜索网站，我想知道他们是如何在price，image和description等其他网站上抓取数据并将其显示在他们的网站上的。我正在考虑使用Solr来索引数据，使用Nutch来抓取数据。我是网络爬行和索引的新手，到目前为止，我只能抓取网页的内容。
Solr Nutch能做这种爬行吗？又是如何做到的？
浏览 1提问于2015-08-28得票数 0
1回答
使用Apache Nutch和Solr进行基于模板的索引/提取
apache、solr、nutch
我是Apache Nutch/Solr系列产品的新手。我已经用Solr (4.3)设置了basic Nutch (1.6)，并且成功地抓取了一个站点，Solr也索引了我抓取的数据。现在我的问题是，如果我抓取一个网络博客，比如用户可以在哪里给出他们的评论(例如)，我如何确保Nutch将用户的评论和主博客作为单独的文档，这样当我搜索关键字时，它会将我的主博客和评论作为单独的结果返回给我
浏览 0提问于2013-06-04得票数 0
回答已采纳
1回答
如果我们要用Hadoop和Solr做一个搜索引擎，NUTCH的作用是什么？
solr、hadoop、nutch
然后使用Solr搜索就可以了。但我面临着很多问题。如果在google上搜索，那么不同的人会给出不同的建议和不同的配置方式来设置基于hadoop的搜索引擎。以下是我的一些问题：2) Solr有什么用？如果NUTCH完成了抓取，并将抓取的索引和信息存储到Hadoop中，那么Solr的作用是什么？
3)我们可以使用Solr和Nutch完成搜索吗</
浏览 2提问于2012-09-06得票数 3
1回答
Nutch找不到这类网站的链接
solr、web-crawler、hbase、nutch
我是一个网络爬行的初学者，我曾经尝试过crawler4j的静态网页.我想知道对于，源页面没有显式的out链接，我如何抓取它？有人可以建议工具或物品吗？或者解释为什么nutch不起作用？
非常感谢。
浏览 1提问于2018-02-13得票数 0
回答已采纳
1回答
如何防止Solr添加页眉和页脚？
c#-4.0、solr、web-crawler
我有一个抓取网站内容的网络爬虫()，我还添加了索引数据到solr的代码。我的要求是避免将网站的页眉、页脚和导航窗格添加到solr中进行索引。
有没有办法做到这一点？任何帮助都会感激不尽。
浏览 0提问于2013-04-16得票数 0
回答已采纳
1回答
在Amazon Web Services和Local上集成Solr + Hadoop和Nutch + Hbase
hadoop、solr、amazon-web-services、hbase、nutch
我在亚马逊网络服务上有一台机器，我正在尝试它上的一些搜索功能。我已经在我的AWS机器上安装了Nutch和Hbase。我的问题是Hadoop在这个系统中处于什么位置(我还没有安装Hadoop )？安装Hadoop和Solr我的本地计算机合乎逻辑吗？另外，我的下一个挑战将是如何与AWS计算机通信。
浏览 2提问于2013-03-09得票数 0
2回答
使用Apache Nutch抓取图像
mongodb、apache、solr、web-crawler、nutch
我安装了Apache Nutch2.3.1、Solr6.5.1和MongoDB 3.4.7。在我抓取包含许多图像的urls后，在Solr和mongoDB中没有任何图像和视频。这样做之后，Apache Nutch将不会抓取图像。现在我想知道如何抓取图像并在Solr中查看它？当我读到它的时候，我知道我应该创建插件。我的印象正确吗？
浏览 1提问于2017-12-03得票数 2
4回答
如何使用nutch解析html并将特定的标签索引到solr？
solr、nutch、apache-tika
我已经安装了nutch和solr来抓取一个网站并在其中进行搜索；正如你所知道的，我们可以用nutch的解析meta tag插件将网页的meta标签索引到solr中。()现在我想知道有什么方法可以抓取另一个不是meta的html标签到solr中？(插件或其他)就像这样： me specific tag实际上，我想在solr (某物)中添加一个字段，该字段在此页面中的值为"me sp
浏览 0提问于2012-09-09得票数 5
1回答
为什么Solr默认多值为true？
solr、multivalue
在1.4版中，如果我在Solr模式中定义了一个字段：这个字段将是单值的。而在v3.5中，它默认为多重vaued。Solr项目会做出这个决定吗？注意:我目前在Win7下的Tomcat6.0上使用Solr3.5。
浏览 0提问于2014-02-21得票数 1
回答已采纳
9回答
solr做网页抓取吗？
solr、web-crawler
我对做网络爬虫很感兴趣。我在看solr。
solr是否做网络爬行，或者做网络爬行的步骤是什么？
浏览 0提问于2009-11-23得票数 18
1回答
使用apache nutch对solr中的结构进行索引
json、apache、solr、web-crawler、nutch
在一个二手车销售商网站上有成千上万的汽车广告，这是一个典型的广告-> 标题，描述，汽车里程，电源简历(Hp)，而不是整个页面，也许是另一个与<e
浏览 0提问于2016-08-02得票数 0
2回答
如何修改Solr给出的搜索结果页面？
java、solr、search-engine、nutch
我使用apache-nutch-1.6作为爬虫，apache-solr-3.6.2作为搜索器。我必须说，网络上关于这些技术的更新信息非常少。我遵循了本教程，并成功地在我的ubuntu系统上安装了apache和solr。我还成功地将种子url注入到webdb并执行爬行。使用http://localhost:8983/solr/admin上的solr接口，我还可以查询抓取的结果。但这是我收到的输出。
。
浏览 0提问于2013-02-06得票数 2
回答已采纳
5回答
站点覆盖率的最佳开源爬虫
javascript、web-crawler
我对抓取很多网站很感兴趣。最重要的考虑因素是，蜘蛛能够到达尽可能多的站点。大多数爬行器所缺少的一个关键特性是执行JavaScript的能力。这是必需的，以便抓取ajax供电的网站。目前我认为Solr是Lucine的一部分，是一个非常好的解决方案。
有人用过Solr或Lucine吗？我对Solr最大的问题是不能执行javascript，但是它有丰富的功能集和可扩展性，这两点都让Solr很有吸引力。
浏览 0提问于2010-01-13得票数 3
回答已采纳
2回答
在web主机与本地计算机上托管批处理作业
java、spring、amazon-web-services、spring-batch
我有10批作业，将同时运行，他们的工作是抓取选定的网站，处理他们，并在SOLR中索引他们。SOLR、客户端应用程序和数据库将托管在Amazon AWS主机上。我想知道在网络主机(Amazon AWS)上托管大量依赖带宽(下载网页)的批处理作业是不是一个好主意？或者我应该在我的本地计算机上运行它们，因为如果它们失败了，监视它们会更容易。我还需要与SOLR建立安全的HTTPS连接以更新文档。根据你的经验，你推荐哪种方
浏览 0提问于2013-05-31得票数 0
回答已采纳
1回答
网络爬虫还是标准的HttpClient？
java、http、web-crawler、web-scraping
如果有人能让我知道我是否需要一个网络爬虫，或者我最好使用HttpClient或JDK的内置功能对这个流进行编码，非常感谢。
浏览 0提问于2011-12-05得票数 2
6回答
网络抓取和网络抓取有什么不同？
search-engine、web-scraping、web-crawler
爬行和网络抓取有区别吗？
如果有不同之处，为了收集一些网络数据来提供一个数据库，以便在定制的搜索引擎中使用，最好的方法是什么？
浏览 2提问于2010-12-02得票数 96
回答已采纳
1回答
使用nutch爬行的页面的后处理
solr、lucene、mapreduce、nutch
我有一套网页抓取使用nutch。据我所知，这些抓取的页面是以片段的形式保存的。我想从这个页面中提取某些键值，并将其作为xml提供给solr。现在该如何完成这个提取部分呢？map reduce会出现在图片中的任何地方吗？
浏览 0提问于2012-03-06得票数 1
2回答
nutch vs solr索引
solr、lucene、nutch
据我所知，Nutch基本上是用来抓取网页的，而solr/Lucene是用来索引和搜索的。但当我阅读有关nutch的文档时，它说nutch也做倒排索引。如果它使用solr/lucene进行索引，那么为什么有必要像nutch教程所说的那样使用nutch配置solr？bin/nut
浏览 0提问于2012-06-01得票数 10
回答已采纳
2回答
Nutch诉Solr诉Nutch+Solr
hadoop、solr、web-scraping、web-crawler、nutch
我们怎么把Nutch和Solr比较？
在什么情况下，我们需要和为什么更好地集成这两者并用于爬行？这与在独立模式(或与hadoop)中使用它们有何不同？
浏览 2提问于2016-12-30得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
