Elasticsearch跨集群搜索中的去重
Elasticsearch是一个开源的分布式搜索和分析引擎，具有高可扩展性和实时性。它使用倒排索引的方式来存储和搜索数据，支持全文搜索、结构化搜索和地理位置搜索等功能。
在Elasticsearch中，跨集群搜索是指在多个集群之间进行搜索操作。去重是指在搜索结果中去除重复的文档，以便提供更准确和有用的搜索结果。
为了实现Elasticsearch跨集群搜索中的去重，可以采用以下方法：
- 使用字段去重：在搜索请求中指定一个字段，比如文档ID或者唯一标识符字段，通过设置合适的查询条件和聚合操作，可以在搜索结果中去除重复的文档。
- 使用Scroll API：通过使用Scroll API，可以在多个分片和多个集群之间进行搜索，并且获取到所有的搜索结果。然后，可以在客户端对搜索结果进行去重操作。
- 使用Collapse API：Elasticsearch 7.0及以上版本引入了Collapse API，可以在搜索结果中根据指定的字段进行去重。通过指定合适的字段和排序规则，可以将相同字段值的文档合并为一个结果。
- 使用Deduplication插件：Elasticsearch社区中有一些第三方插件，如Deduplication插件，可以帮助实现搜索结果的去重。这些插件提供了额外的功能和配置选项，可以根据具体需求进行使用。
对于Elasticsearch跨集群搜索中的去重，腾讯云提供了Elasticsearch服务，可以满足用户的搜索需求。腾讯云Elasticsearch支持高可用、高性能的分布式架构，提供了丰富的搜索和分析功能。用户可以根据自己的业务需求选择合适的腾讯云Elasticsearch产品，并参考腾讯云文档中的相关指南和示例进行配置和使用。
腾讯云Elasticsearch产品介绍链接地址：https://cloud.tencent.com/product/es
相关·内容
1回答
Elasticsearch跨集群搜索中的去重
elasticsearch、elastic-stack、elasticsearch-plugin
我正在使用跨集群搜索，并通过_id搜索两个集群中都存在的文档。ES返回2次命中(1次在本地索引中，1次在远程索引中)。我只想要本地索引里的那个。如何从远程群集中删除副本？
浏览 27提问于2019-11-30得票数 0
回答已采纳
1回答
一个kibana连接多个弹性集群
elasticsearch、kubernetes、kibana、elasticsearch-7、kibana-7
我在Kubernetes上有最新的7.10 elastic和Kibana，我不能从文档中理解是否有一个选项可以将多个弹性集群连接到一个Kibana (就像在Grafana中一样)？我只看到了复制弹性集群的交叉集群。我很感谢你的帮助。
浏览 4提问于2021-02-04得票数 1
1回答
Elasticsearch跨簇搜索在nginx代理中的应用
elasticsearch、nginx、logging、elasticsearch-5
我想为基于交叉集群搜索功能的多个弹性搜索集群设置某种聚合。我有以下布局：作为跨集群搜索的种子，我使用的唯一可用的网络集群地址。在查询之后，我得到了错误：我不能更改节点的publish_host，因为在集群</em
浏览 0提问于2018-08-01得票数 2
回答已采纳
1回答
Elasticsearch碎片重新分配
elasticsearch、sharding
据我所知，elasticsearch中的碎片是通过内部机制在所有数据节点之间分发的。不过，我有以下意见-
现在的问题是，我刚开始的时候只有一个节点，5个碎片，没有副
浏览 6提问于2016-03-11得票数 1
回答已采纳
1回答
我需要多少个Amazon Elasticsearch Service实例？
elasticsearch、amazon-elasticsearch
如果我需要一个3节点集群，我需要有3个实例吗？或者它们是在同一个实例中创建的？
浏览 3提问于2021-03-05得票数 0
1回答
Elasticsearch 5.5跨集群搜索设置问题
elasticsearch、nginx、elasticsearch-5
我正在尝试设置跨集群搜索。我的问题是，我所有的ES集群都在nginx代理后面使用基本身份验证https://<username>:<password>@<ngix-enpoint>:<ngix-port>search:
rem
浏览 0提问于2017-08-14得票数 0
1回答
如何同步两个ElasticSearch集群
elasticsearch
我需要在data centerII中设置一个复制的ES clusterII，ES clusterII只需要与data centerI中的ES clusterI同步。到目前为止，我的想法是将快照存储在custerII中，然后恢复快照以便同步clusterI。但是这种方式会有一些延迟。有没有更好的方法？
浏览 4提问于2016-06-16得票数 0
1回答
如何让elasticsearch 5.6.3跨集群搜索工作？
elasticsearch
我坚持使用elasticsearch/kibana 5.6.3。我需要启用跨集群搜索。我能够让它在6.8.6版本中工作，但后来发现我现在被旧版本卡住了(因为我们必须用旧版本的fluentd升级几十台发送数据的服务器)。文档中说要从控制台启用群集设置：{ "cluster": {
"r
浏览 1提问于2020-03-11得票数 0
1回答
创建一个noSql数据库，最好的源代码是什么？
java、rest、nosql、comments、sharding
我一直想要一个专门为存储大量嵌套/线程注释而构建的nosql数据库。实现可能是用java完成的，因为这是我最擅长的。我真的很喜欢ElasticSearch非常简单地建立一个集群并将数据放入其中，我希望我的产品也能分享同样的品质。下面是我想要的特性：2)跨集群自动/手动索引
3)全文搜索(可能通过lucene
浏览 0提问于2012-08-08得票数 0
2回答
多个站点的Elasticsearch (来源)
elasticsearch
我们有大量的网站，由于这是我们第一次使用弹性搜索，我不知道我们应该如何配置ES：
我们希望使用ES作为这些站点的唯一搜索引擎，我们应该为每个站点设置单独的ES实例吗？(我认为这可能比只使用一个ES占用更多的资源)(另一方面，将所有站点的所有文档只放在一个ES实例中会为每次搜索带来太多的开销吗？)但是，当我们进行搜索时，我们将只在一个特定的站点内搜索文档(并且最好以某种方式阻止其
浏览 2提问于2013-10-29得票数 8
回答已采纳
1回答
如何使用本地连接ES集群？
elasticsearch、spring-boot、spring-data-elasticsearch
logger.error("Cannot create temp dir", ioex); }}有关如何知道elasticsearch项目正在工作的更多信息，我创建了一些实体并将其持久化，使用控制器进行查询。因此，我有以下问题：
浏览 6提问于2017-04-17得票数 2
回答已采纳
2回答
将ElasticSearch集群迁移到新硬件的最佳方法是什么？
elasticsearch
我有一个弹性搜索集群运行在6个动力不足的节点上。我想把它迁移到一个由4个非常重的节点组成的新集合。我想找出最好的办法。由于我要从6个节点到4个节点，所以不能仅仅将数据文件从旧集群复制到新集群。看起来快照和还原功能是可行的，但我无法找到一种记录在案的方法来在一组硬件上创建快照并将其还原到另一组硬件中。有人用ElasticSearch做过这种硬件升级吗？
浏览 3提问于2015-04-30得票数 9
回答已采纳
1回答
Elasticsearch索引复制到新服务器
elasticsearch、replication
我对Elasticsearch非常陌生，我有一个建筑问题。我有一个系统可以储存大量的文件。这些文件有的是公开的，有的是私人的。
我需要创建一个从系统，它是主main ES实例的复制，尽管它不能包含任何私有文档，甚至在索引级别上也不能。因此，仅用筛选器搜索正确的文档是不够的，但是索引不能包含标记为私有的
浏览 4提问于2014-05-26得票数 0
回答已采纳
2回答
AWS -不允许跨帐户目标角色
amazon-web-services、elasticsearch、amazon-s3、amazon-kinesis-firehose
我尝试做的是定义帐户A中的Firehose流到帐户B中的Elasticsearch之间的交叉传递。有人知道为什么吗？
谢谢!
浏览 2提问于2017-08-01得票数 0
1回答
如何在一台具有不同数据的服务器上设置多个弹性搜索实例？
elasticsearch、kibana
我们在我的公司使用弹性搜索和Kibana。我想要创建运行在同一台服务器上的第二个弹性搜索实例，但是在不同的JVM中--让我们称它们为A和B。我希望A有一个名为other_logs的索引，B有一个名为batch的索引。我希望能够通过一个kibana实例搜索这两个实例，并设置仪表板，以便在任何一个JVM上读取任何一个索引。写入A的数据不应写入B，反之亦然。
原因是我们有一些依赖ES的批处理作业，ES一直
浏览 4提问于2020-03-02得票数 3
回答已采纳
2回答
我应该使用EBS还是EFS作为数据库？
mongodb、amazon-web-services、amazon-ec2、amazon-ebs、amazon-efs
对于具有高可用性的MongoDB、Cassandra或Elasticsearch集群的数据库目录，我应该使用EBS还是EFS？如果MongoDB、Cassnadra和Elasticsearch集群配置为复制因子> 1，则它们负责跨节点复制数据，因此可能不需要EFS复制功能。
浏览 2提问于2018-12-15得票数 2
回答已采纳
1回答
设置Elasticsearch服务器，用于处理来自微服务的数据
ruby-on-rails、elasticsearch、architecture、microservices
我对elasticsearch和它的扩展非常陌生，我有一个我甚至不知道如何处理的问题。有几个带有Rails微服务应用程序的服务器。它们中的每一个都有自己相当大的数据(更具体地说，是从不同的社交网络聚合帖子，因此所有数据库中的可索引搜索字段都是相同的)。我需要找到一种解决方案，允许将数据保存在当前的位置，并设置专门用于通过多个数据库进行搜索</
浏览 4提问于2016-04-14得票数 6
2回答
Amazon AWS和MS Azure上的Elasticsearch跨群集复制(CCR)
amazon-web-services、azure、elasticsearch、deployment、cloud
我看到AWS announcement说他们将支持跨集群搜索(我不确定这是否与我的查询相关)。 你能告诉我它是否被支持吗，或者有什么新闻指出它可能在不久的将来被支持？ 非常感谢您的帮助。
浏览 40提问于2020-10-27得票数 1
回答已采纳
1回答
弹性搜索作为持久化数据库
database、mongodb、elasticsearch、web-scraping、full-text-search
我正在尝试理解使用Elastic Search作为持久存储的可行性。我的目标是，大量的写操作--从抓取多个抓取实例。目前我有Mongo DB作为存储，现在我必须在Mongo DB中索引数据，以便制作一个文本搜索应用程序。避免使用多个存储实例.i.e。Mongo DB和ES，我试图对这一点有一个清晰的认识。在互联网上搜索时，大多数文章都很陈旧(日期为2011-2015)，并建议不要使用ES作为持久存储。 提前谢谢。
浏览 23提问于2020-09-03得票数 2
2回答
如何在不停机的情况下从elasticsearch集群中移除节点
elasticsearch
假设我在集群中有5个节点，并且我必须在运行时删除2个节点。那么如何才能在不影响指数的情况下做到这一点呢？
我有接近10Gbphour的连续数据流，这些数据流正在不断地被索引。
浏览 1提问于2013-06-24得票数 76
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
