如何在Elasticsearch中查找相似文档
在Elasticsearch中查找相似文档可以通过以下步骤实现：
- 定义相似性度量：Elasticsearch使用相似性度量来确定文档之间的相似程度。常用的相似性度量包括TF-IDF、BM25等。TF-IDF度量基于词频和逆文档频率，BM25度量考虑了文档长度和查询词频等因素。根据具体需求选择适合的相似性度量。
- 创建索引：将待搜索的文档数据存储在Elasticsearch中的索引中。索引是Elasticsearch用于存储和搜索文档的数据结构。可以使用Elasticsearch提供的API或者客户端库来创建索引并将文档数据导入。
- 定义相似性查询：使用Elasticsearch的查询语法来定义相似性查询。常用的相似性查询包括term查询、match查询、bool查询等。可以根据具体需求组合不同类型的查询来实现更精确的相似性搜索。
- 执行查询：使用Elasticsearch的API或者客户端库执行相似性查询。根据查询的结果可以获取到与目标文档相似的文档列表。
- 分析结果：根据查询结果进行分析和处理。可以根据相似性度量的得分对文档进行排序，选择得分高的文档作为相似文档。也可以根据具体需求进行结果过滤、聚合等操作。
推荐的腾讯云相关产品：腾讯云 Elasticsearch
腾讯云 Elasticsearch是基于开源Elasticsearch的托管式云服务，提供了高可用、高性能的搜索和分析能力。它支持实时数据索引和搜索，适用于日志分析、全文搜索、数据挖掘等场景。腾讯云 Elasticsearch提供了简单易用的控制台和API，方便用户管理和操作索引、文档和查询。
产品介绍链接地址：https://cloud.tencent.com/product/es
相关·内容
1回答
从1.7移动到5.4的Elasticsearch查询结果不同
elasticsearch、elasticsearch-5、elasticsearch-2.0
我正在将Elasticsearch实例从1.7升级到5.4.3，并注意到两个系统之间的搜索结果是不同的，即使使用相同的查询。
弹性搜索1.7查询
{
"query": {
"filtered": {
"query": {
"multi_match": {
"query": "something",
"fields": [
"field1",
浏览 1提问于2017-08-03得票数 0
回答已采纳
2回答
弹性搜索中的BM25相似调整
elasticsearch
弹性搜索 I可以通过向elasticsearch.yml添加以下内容来更改所有字段的相似性
index.similarity.default.type: BM25
..which我已经做了，但我也想微调场长正常化，它说我可以在这里做：。
但是它并没有告诉我在哪里/如何设置k1和b参数。为了实现这一点，我可以在elasticsearch.yml中添加一行吗？
谢谢。
浏览 5提问于2014-12-05得票数 2
回答已采纳
1回答
匹配查询不返回精确匹配作为第一行。
elasticsearch
我在elasticsearch中有数据，字段fullName：
无名氏
无名氏
无名氏
当我对fullName执行匹配查询时，使用此查询
{
"from": 0,
"size": 20,
"query": {
"bool": {
"must": [
{
"match": {
"fullNam
浏览 2提问于2019-07-25得票数 2
2回答
比较文档-文档相似度
java、nlp、similarity、information-retrieval、tf-idf
我目前正在进行NLP/IR中的一个java项目，并且对此相当陌生。该项目由大约1000个文档组成，其中每个文档大约有100个单词，结构为具有词频的词袋。我想根据文档(从集合中)找到类似的文档。
使用TF-IDF，为查询(给定文档)和集合中的所有其他文档计算tf-idf，然后将这些值作为具有余弦相似度的向量进行比较。这能让我们对它们的相似性有一些了解吗？或者，由于大查询(文档)，这是否不合理？有没有其他相似性度量可以更好地发挥作用？
谢谢你的帮助
浏览 2提问于2015-04-24得票数 0
1回答
Elasticsearch:只匹配每个位置一次
lucene、position、elasticsearch
在我的Elasticsearch索引中，我有多个标记位于相同位置的文档。
当我在每个位置匹配至少一个标记时，我希望得到一个文档。令牌的顺序并不重要。我怎样才能做到这一点？我使用Elasticsearch 0.90.5。
示例：
我把这样的文件编入索引。
{
"field":"red car"
}
我使用同义词标记过滤器，它在与原始令牌相同的位置添加同义词。所以现在在外地，有两个职位：
位置1：“红色”
位置2：“汽车”，“汽车”
现在我的解决方案：
为了能够确保所有位置匹配，我也索引最大位置。
{
"field":
浏览 0提问于2014-01-16得票数 6
4回答
PostgreSQL是否使用tf-idf？
postgresql、full-text-search
我想知道在带有GIN/GiST索引的PostgreSQL 9.3中的全文搜索是否使用tf-idf (词频-逆文档频率)。
特别是，在我的词组专栏中，我有一些更受欢迎的词，而有些词则非常独特(即名称)。我想对这些列建立索引，以便匹配的唯一单词的权重将高于普通单词。
浏览 10提问于2013-08-18得票数 7
2回答
发现问题相似度的算法
algorithm、search、data-mining
我做了同样的数据挖掘，并从谷歌和微软的glassdoor上提取了所有面试问题：
我有两个名单在那里。
我想做的也许是拉出一些其他公司的面试问题，并试图在多个来源中找到类似的问题。
我用谷歌搜索了一下，发现了这个项目：
我可以执行以下操作：
然而，这似乎有点过头了。有没有更简单的算法可以帮助我找到类似的问题？堆栈溢出使用什么算法？
我在想，也许可以根据两个问题之间匹配的单词数量生成一个分数，并以这种方式对其进行过滤。
我想试着将问题列表缩减为一系列独特的问题。
更新：
我决定使用lucene。我将我的整个列表放到一个索引中，遍历列表，并使用lucene搜索10个类似的项目。然后，我将10个结
浏览 0提问于2012-02-27得票数 3
2回答
elasticsearch tf-下手和忽略搜索中的字段长度范数
elasticsearch
我想在elasticsearch中执行搜索，忽略tf-国防军搜索中的字段规范。您可以通过完成这一任务。然而，这似乎是通过对索引的更改来实现的，我只想修改搜索(我需要其他类型搜索的规范)。实现这一目标的最佳方法是什么？我使用elasticsearch.js作为我与elasticsearch的接口。
浏览 0提问于2016-07-12得票数 4
回答已采纳
1回答
Elasticsearch搜索文档是如何实现的？如何在ES中定制预处理流水线和评分函数？
python、elasticsearch
我想在定制的语料库上实现Elasticsearch。我已经安装了7.5.1版本的elasticsearch，并使用官方客户端在python中完成了所有的工作。
这里我有几个问题：
如何定制预处理管道？例如，我希望使用BertTokenizer将字符串转换为标记，而不是ngram。
如何自定义每个文档的评分函数w.r.t。那个问询？例如，我想比较tf-idf和bm25的效果，甚至使用一些神经模型来评分。
如果在python中有很好的教程，请与我分享。提前谢谢。
浏览 4提问于2021-11-03得票数 0
回答已采纳
2回答
Elasticsearch排名较短/不相关的标题
elasticsearch、elasticsearch-ruby
我正在用Elasticsearch 7.3做一个产品搜索。产品标题的格式不一样，但我对此无能为力。
有些标题可能如下所示：
Ford Hub Bearing
像这样的其他人：
Hub bearing for a Chevrolet Z71 - model number 5528923-01
如果有人搜索“雪佛兰轴承”，“福特轮毂轴承”产品排名#1和雪佛兰零件排名#2。如果我删除所有额外文本(型号5528923-01)从产品标题，雪佛兰零件排名#1，如所需。
不幸的是，我无法修复产品的标题，所以我需要能够排名雪佛兰部分为#1，当有人搜索Chevrolet Hub Bearing。我只是将name
浏览 4提问于2019-08-29得票数 1
回答已采纳
1回答
SOLR分数范围改变
solr
我正在从SOLR 4.10.2迁移到SOLR 7.1。
一切似乎都进行得很顺利，除了一件事:结果文档返回的分数是不同的分数。
核心使用架构。下面是我正在搜索的字段的模式信息：
<field name="IDX_Company" type="text_general" indexed="true" stored="false" multiValued="true" />
<field name="Company" type="string" indexed="
浏览 0提问于2018-02-22得票数 0
回答已采纳
2回答
文档大小调整Search.Score -实际上降低了评分配置文件分数
azure-cognitive-search
我们正在使用评分配置文件来驱动相关性并调整分数，即使用评分配置文件中的函数将属性isActive的相关性提升为1/ 50，同时通过传递&searchFields=*搜索索引上的特定字段 然而，Search.Score似乎受到文档大小的高度挤压，较小的大小得分较高，这可能是由于TF-IDF…。。 这违背了使用评分配置文件的目的，但是在我们的例子中，我们不希望因为文档的大小而影响评分，因为我们传递的是searchFields。 在searchFields未通过的情况下，我们希望根据大小调整分数，即在所有可搜索字段中进行自由形式搜索。 示例搜索查询- &scoringProfile
浏览 23提问于2020-07-01得票数 0
回答已采纳
1回答
ElasticSearch中的名称搜索
elasticsearch、full-text-search、fulltext-index
我在ElasticSearch中创建了一个具有字段名的索引，其中存储了一个人的全名:姓名和姓氏。我希望对该字段执行全文搜索，因此我已经使用分析器对其进行了索引。
我现在的问题是，如果我搜索：“约翰·拉姆·拉姆”
在指数中，我得到了“约翰·拉姆·勒姆·勒克”，这个数值比“约翰·拉姆·勒姆”得分更高。在精确字段上有比在字符串中有更多值的字段有更好的得分的可能性吗？
提前感谢！
浏览 2提问于2017-04-12得票数 0
1回答
“Lucene”中搜索结果质量的确定
lucene、information-retrieval
几天来，我一直在使用邮件列表、wiki、blogpost等在Lucene中搜索分数规范化(，现在我知道这是不能实现的)。我要暴露我的问题，因为我不确定分数正常化是否符合我们的项目需要。
背景：在我们的项目中，我们使用Solr在Lucene之上使用自定义RequestHandlers和SearchComponents。对于给定的查询，我们需要检测查询何时得到了错误的结果来触发不同的操作。
假设：不可变索引(一旦索引，就不会更新)和相同的查询分类(dismax q解析器具有相同的字段增强，没有boost函数或boost查询)。
Problem：我们知道分数规范化是不可实现的。但是，当搜索结果匹配质
浏览 1提问于2011-11-14得票数 2
1回答
ElasticSearch中的文档相似度
search、solr、lucene、elasticsearch、mlt
我想计算在elasticsearch中索引的两个文档之间的相似性。我知道这可以在lucene中用术语向量来实现。直接的方法是什么？
我发现有一个相似的模块就是这样做的：
我如何将它集成到我的系统中？我正在使用弹搜索来调用elasticsearch命令，但是如果需要的话，我可以使用REST来实现相似。
浏览 3提问于2014-04-24得票数 17
1回答
使用TF-IDF - Python比较语料库中的文档对
python、pandas、tf-idf
我设法使用以下代码计算TF-IDF和矩阵：
from sklearn.feature_extraction.text import TfidfVectorizer
#define vectorizer parameters
tfidf_vectorizer = TfidfVectorizer(max_df=0.8, max_features=200000,
min_df=0.2, stop_words='english',
use_idf=True, ngram
浏览 38提问于2018-04-23得票数 0
5回答
使用k-means进行文档聚类，聚类应该基于余弦相似度还是基于术语向量？
php、cluster-analysis、k-means、tf-idf、cosine-similarity
抱歉，如果答案是显而易见的，请友好，这是我第一次在这里:-)
如果有人能给我一个关于k-means的适当输入数据结构的指导，我将不胜感激。我正在写一篇硕士论文，在这篇论文中，我提出了一种新的TF-IDF术语权重方法，专门针对我的领域。我想使用k-means对结果进行聚类，然后应用一些内部和外部评估标准，看看我的新术语加权方法是否有任何优点。
到目前为止，我的步骤(用PHP实现)，所有的工作都是
步骤1:读入文档集合步骤2:干净的文档集合、特征提取、特征选择步骤3:词频( TF )步骤4:反文档频率( IDF )步骤5: TF*IDF步骤6:将TF-IDF归一化为固定长度的向量
我努力的地方是
浏览 4提问于2015-05-11得票数 5
1回答
根据过滤过的文件计算吗？
elasticsearch
我将使用Elasticsearch设计一个多租户搜索平台。一种选择是共享索引交叉租户。但问题是，同一索引中不同租户的文档可能会影响结果的评分，因为国防军的评分部分是在一个索引中跨所有文档计算的。是否有一种方法可以让ES根据过滤后的文档计算以色列国防军？例如，通过租户过滤文档，这样一个租户的文档不会影响另一个租户在相同索引中的文档得分。
浏览 0提问于2018-05-16得票数 1
回答已采纳
1回答
避免SOLR中的关键字填充
solr、keyword
我正在寻找一种方法来限制在SOLR中“关键字填充”的影响(或消除它)。(我们目前正在运行SOLR 6.2.0服务器)。我尝试过将omitTermFreqAndPositions=设置为“true”，但当我这样做时，有些查询会抛出短语查询错误(特别是带有搜索条件的查询，比如G1966B --可能是由于分词之类的原因)。我可以沿着禁用单词拆分的道路，尝试避免短语查询错误，但这只会导致比我试图修复的更多事情的混乱。
有没有人对如何限制单个字段中多个关键字匹配的影响有任何建议？
示例:如果我们有这样的描述字段：
BrandX 1200系列G1924B LC/MSD系统。该BrandX 1200系列G
浏览 1提问于2017-10-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
