在ElasticSearch中有没有一种算法可以给出向量之间的相似度？

在ElasticSearch中，可以使用余弦相似度算法来计算向量之间的相似度。余弦相似度是一种常用的相似度度量方法，用于衡量两个向量之间的夹角余弦值，从而判断它们的相似程度。

在ElasticSearch中，可以通过使用插件或者自定义脚本来实现余弦相似度的计算。一种常用的插件是"elasticsearch-vector-scoring"，它提供了向量相似度计算的功能。该插件可以通过将向量存储在ElasticSearch的字段中，并使用特定的查询语法来计算向量之间的相似度。

使用余弦相似度算法可以在多个领域中应用，例如文本相似度匹配、推荐系统、图像搜索等。在文本相似度匹配中，可以使用余弦相似度来计算文档之间的相似度，从而实现相关文档的检索和排序。

对于ElasticSearch用户，腾讯云提供了Elasticsearch Service（ES）服务，它是一种托管式的Elasticsearch云服务。ES提供了高可用、高性能的Elasticsearch集群，可以方便地进行数据索引、搜索和分析。您可以通过腾讯云官网了解更多关于Elasticsearch Service的信息：https://cloud.tencent.com/product/es

请注意，本回答仅提供了一种解决方案，实际应用中可能还有其他方法和工具可供选择。

基于关键字数量的文档与其他文档相关的概率

statistics、probability

我有2个文档X和Y。如果用户搜索单词"Computer“，并且我想显示基于关键字"Computer”的最相关的文档。我的算法根据关键词在文档中出现的次数来选择最相关的文档。唯一的问题是文档X有10个单词，"Computer“出现两次，而文档Y有1000个单词，"Computer”出现100次。从文档中的字数来看，说文档Y比文档X更相关是不正确的。如何对此进行规范化，以获得最准确的相关文档。

浏览 8提问于2016-01-09得票数 0

1回答

匹配2个文本文档的最佳方法

tf-idf、textmatching

我试着制作这样一个软件，使两个文本文档智能地类似于检查文本匹配的程度，而不像DIFF，我在Google上搜索了一个相当多的东西，我发现了两个东西，就是Graph&TF下手。但我对这两种方法感到困惑，我不知道哪一种更好&还有其他技术来匹配文本文档吗？

浏览 2提问于2015-01-06得票数 0

回答已采纳

1回答

当我使用余弦相似度时，为什么我得到的邓恩指数是负值？

matlab、cluster-analysis、distance、cosine-similarity

我使用k-means对归一化数据进行聚类。我使用了不同的相似度矩阵，如欧几里得、曼哈顿和余弦，当我使用余弦相似度时，Dunn指数为负值。我读到过邓恩指数的取值范围从0到无穷大。使用余弦相似度计算Dunn指数是正确的吗？我用过this implementation of Dunn Index。

浏览 94提问于2019-06-12得票数 1

回答已采纳

1回答

关于word2vec most_similar()函数

text-mining、gensim、word2vec

我使用如下的most_similar()方法来获取与给定单词相似的所有单词： word,score= model.most_similar('apple',topn=sizeofdict) AFAIK，它的作用是计算给定单词和字典中所有其他单词之间的余弦相似度。当我检查单词和分数时，我可以看到列表中有负分数的单词。这是什么意思？它们是与给定单词具有相反含义的单词吗？另外，如果它使用余弦相似度，它是如何得到负值的？对于两个文档，余弦相似度在0-1之间变化。

浏览 2提问于2016-01-19得票数 5

3回答

如何度量两个文本文档之间的相似性？

machine-learning、deep-learning、text-mining、similarity、similar-documents

假设我有100个文本文档，我想对这些文档进行集群。第一步是构造文档的成对相似矩阵100X100。我的问题是：衡量两个文档之间相似性的通用方法是什么？谢谢,

浏览 0提问于2019-04-14得票数 4

回答已采纳

1回答

对问答系统NLP的几点建议

nlp、artificial-intelligence、chatbot、question-answering

我正在尝试建立一个问题回答系统，其中我有一组预定义的问题和他们的答案。对于来自用户的任何给定问题，我必须查找类似的问题是否已经存在于预定义的问题中，并发送答案。如果它不存在，它必须回复一个通用响应。任何关于如何使用NLP实现这一点的想法都会非常有帮助。提前感谢！！

浏览 2提问于2020-03-15得票数 0

2回答

基于字符串相似度的机器学习将字符串预处理为数字

string、algorithm、machine-learning、similarity

我需要将数据预处理成数字，以便能够在数据集中应用ML算法，但这个功能几乎是由字符串组成的树形结构，我不知道如何转换。下面是一个示例： Feature -> Value I would like to transform to (example): X Y Z foo -> 0.5 X Y Z bar -> 0.501 A B C foo -> 4.1 W B C foo -> 5 从本质上说，字符串将转换为一个唯一的实数，如果它们的字符串几乎相同，这个数字将非常接近其他数字，从而赋予字符串中第一个出现的单词更大的权重。我的问题是，有没有已经存在的算法来解决这

浏览 0提问于2017-02-13得票数 1

1回答

用java程序计算余弦相似度

java、tf-idf、trigonometry

我有一个问题，要计算一个相似性度量，为我的最终项目开发一个搜索引擎。在java中，我必须使用tf，以色列国防军+余弦相似度，我不知道如何计算它。我有自己的数据库，里面有811份文件。

浏览 3提问于2011-03-28得票数 0

4回答

在语义相似性方面，是否有比较字符串的好的NLP？

machine-learning、python、nlp、similarity、software-recommendation

我想要创建一个聊天机器人，它告诉用户在街道上的交通情况，但暂时不是实时的。我用MySQL创建了一个小型数据库，其中存储了一些有关流量的数据，并根据用户与聊天机器人的交互情况，在适当的时候使用PHP脚本获取这些数据。我想知道当用户询问同一个问题的变化时，如何处理这个问题，因此可以用相同的答案来回答。例如：为什么大街上有车辆？高街交通的原因是什么？我为什么在高街遇到交通堵塞？我在大街上堵车了。为什么会这样呢？显然，我可以从删除停止词(例如did)、命名实体(例如，公路->大街)、定义同义词和应用文本相似性度量(例如Levenshtein距离等)开始。然而，如果我这样做的话，我想

浏览 0提问于2018-04-19得票数 4

1回答

如何比较Python中两个文档的主题分布之间的主题相似性？

python、gensim、lda

我用Gensim在语料库上训练了一个LDA模型。现在我已经有了每个文档的主题分布，如何比较两个文档在主题中的相似程度？我想要一个简要的措施。例如，以下是两个文档的主题分布。总共有75个主题。为了简洁起见，我只展示了概率最大的前10个主题(因此主题不太合适)。(40，0.5523168)表示主题#40对于DOC #1的概率为0.5523168。我应该计算两个向量之间的欧几里德距离还是余弦距离？使用这个概括度量，我是否可以说，例如，DOC 1比DOC2更类似于DOC3，或者DOC1和DOC 2在局部上比DOC 3和DOC 4更相似？谢谢! DOC #1: [(40, 0.5523168), (60

浏览 2提问于2019-03-22得票数 4

回答已采纳

3回答

如何计算模糊字符串匹配中的分数？

python、fuzzy

我想知道计算两个字符串之间模糊匹配分数的数学逻辑和公式。假设我有两个字符串s1和s2，我想在python中使用模糊匹配。我知道像fuzzywuzzy这样的python库可以做到这一点。但我想知道模糊匹配方法和比率计算背后的精确数学和逻辑。

浏览 2提问于2020-10-17得票数 0

回答已采纳

2回答

在求余弦相似性时，非额定场的值应该是多少？

correlation、recommender-system、cosine-distance

我正在研究一个非常基本的图书推荐系统。我想知道在找到余弦相似性时，用户没有给它们打分的字段该如何处理，我们应该忽略它们，只用赋值字段计算，或者标记它们为0。我所遵循的书说，排除字段，因为它会给出错误的解释，在欧几里德和皮尔逊相关的情况下，但在余弦相似的情况下，它使所有的非额定场为0。有人能解释为什么只对于余弦而不是其他人需要将未分级的字段设置为0，或者有不同的方法来做到这一点。(我知道欧几里德和皮尔逊中的字段0对输出的影响，但不确定余弦)

浏览 0提问于2016-06-12得票数 8

1回答

词与语篇之间的相关性

similarity、data-analysis、text-classification

我收集了关于不同主题的文章。我想研究这两者之间可能存在的相互关系。我已经开始看单词频率，似乎在一个数据集中，频率最高的词是猫；在另一个数据集中，老鼠；在另一个数据集中，是房子。你知道一些技术或方法(相似性，分类，.)吗？为了显示数据集(例如猫和老鼠之间)之间可能的相关性？它是否只需要专家的判断？

浏览 0提问于2020-05-11得票数 0

回答已采纳

1回答

潜在语义分析如何处理语义

nlp、latent-semantic-analysis

我已经通过了LSA方法。有人说，LSA可以用于语义分析。但我不明白它在LSA是如何运作的。有人能告诉我LSA是如何处理语义的吗。

浏览 5提问于2014-08-15得票数 1

回答已采纳

1回答

为什么Apache Mahout使用LP空间规范化？

mahout、mahout-recommender

为什么LP-空间规范化被用于Mahout VectorNormMapper的项目相似性。还读过2的范数对CosineSimilarity很有用。是否有一个直观的解释，为什么它被使用，以及如何才能确定权力的最佳价值为给定的相似性类。

浏览 2提问于2014-04-10得票数 0

回答已采纳

2回答

如何使用LSA计算句子之间的相似度？

lsa

我已经理解了当计算单词之间的相似度时LSA是如何工作的。我正在使用lsa.colorado.edu网站上的LSA，但我找不到一个来源，即句子或多个单词之间的相似度是如何计算的。这仅仅是通过平均所有成对的相似性来完成的吗？

浏览 1提问于2012-12-17得票数 1

2回答

如何计算查询和文档之间的相似性？

java

我有一套文件，我计算了这两份文件术语-Frequency评分逆频评分 TF/国防军得分现在，我需要计算特定查询与文档之间的相似度，这将产生一个评分，将文档从最高相似度排列到对查询的最低相似度。我搜索了很多信息，但我不明白公式。来源：有人能指引我吗？我只需要知道如何从我目前的进展出发。

浏览 4提问于2011-03-14得票数 0

1回答

快速比较查询与语料库中文档的余弦相似度

machine-learning、corpus、cosine-similarity、trigonometry

我很好奇公司通常是如何快速计算整个语料库之间的余弦相似度的。例如，如果有人搜索术语“有趣的猫”，并且有100,000个文档至少包含这些术语中的一个，则动态计算查询向量和这100,000个文档向量之间的余弦相似度可能需要很长时间。是否有缓存或加速此搜索的一般策略？

浏览 2提问于2015-07-17得票数 0

1回答

理解两个TF-IDF向量相似的原因

text、scikit-learn、nlp

我想要一些关于理解TF-IDF向量结果的方法的反馈，以及可能的替代方法。现在，我有两个文本语料库。目标是找到每个语料库中的哪些文档最相似。当我找到一个有趣的匹配项时，我想知道为什么，所以我实现了一个名为why_match()的简单函数，但我想帮助了解它是否是一种有效的方法。它是这样工作的： def why_match(doc_vector_a, doc_vector_b, sklearn_tfidfvectorizer): distance = abs(doc_vector_a - doc_vector_b) nearest_words = np.array((dista

浏览 2提问于2018-10-27得票数 0

2回答

如何模糊地搜索字典中的单词？

algorithm、search、nlp、search-engine

我在这里读到了很多讨论基于编辑距离的模糊搜索的帖子，像Elasticsearch/Lucene这样的工具提供了开箱即用的功能，但我的问题有点不同。假设我有一个单词字典，{'cat'，'cot'，'catalyst'}，以及一个字符相似关系f(x，y) f(x, y) = 1, if characters x and y are similar = 0, otherwise (这些“相似性”可以由程序员指定) 这样，比如说， f('t', 'l') = 1 f('a', 'o&

浏览 1提问于2013-05-02得票数 0