余弦相似度与LDA主题
是自然语言处理领域中常用的两个概念。
- 余弦相似度（Cosine Similarity）： 余弦相似度是用来衡量两个向量之间的相似性的一种度量方法。在自然语言处理中，可以将文本表示为向量，每个维度表示一个特征或者词语的权重。余弦相似度通过计算两个向量之间的夹角的余弦值来衡量它们的相似程度，值越接近1表示越相似，值越接近0表示越不相似。
应用场景：余弦相似度常用于文本相似度计算、信息检索、推荐系统等领域。例如，在搜索引擎中，可以使用余弦相似度来计算用户查询与文档之间的相似度，从而返回与查询最相关的文档。
推荐的腾讯云相关产品：腾讯云提供了自然语言处理相关的产品，如腾讯云智能文本分析（https://cloud.tencent.com/product/nlp）和腾讯云智能搜索（https://cloud.tencent.com/product/search）等，可以用于实现文本相似度计算和信息检索等功能。
- LDA主题（Latent Dirichlet Allocation）： LDA主题模型是一种用于发现文本主题的概率生成模型。它假设每个文档都由多个主题组成，每个主题又由多个词语组成。LDA主题模型通过统计分析文本中词语的分布情况，推断出文档中的主题分布和主题中词语的分布。
应用场景：LDA主题模型常用于文本挖掘、主题分析、信息检索等领域。例如，在社交媒体分析中，可以使用LDA主题模型来发现用户在不同话题下的兴趣和观点。
推荐的腾讯云相关产品：腾讯云提供了自然语言处理相关的产品，如腾讯云智能文本分析（https://cloud.tencent.com/product/nlp）和腾讯云智能搜索（https://cloud.tencent.com/product/search）等，可以用于实现LDA主题模型和文本分析等功能。
总结：余弦相似度和LDA主题是自然语言处理中常用的两个概念。余弦相似度用于衡量文本之间的相似性，而LDA主题模型用于发现文本中的主题分布。腾讯云提供了相关的自然语言处理产品，可以支持这些功能的实现。
相关·内容
我用Gensim在语料库上训练了一个LDA模型。现在我已经有了每个文档的主题分布，如何比较两个文档在主题中的相似程度？我想要一个简要的措施。例如，以下是两个文档的主题分布。总共有75个主题。为了简洁起见，我只展示了概率最大的前10个主题(因此主题不太合适)。(40，0.5523168)表示主题#40对于DOC #1的概率为0.5523168。我应该计算两个向量之间的欧几里德距离还是余弦距离？使用这个概括度量，我是否可以说，例如，DOC 1比DOC2更类似于DOC3，或者DOC1和DOC 2在局部上比DOC 3和DOC 4更相似？谢谢!
DOC #1:
[(40, 0.5523168), (60
浏览 2提问于2019-03-22得票数 4
回答已采纳
2回答
如何在应用LDA后自动标注主题
、、、、
我已经在python.now中实现了LDA，我想标记我从LDA得到的任何主题。
[(0, u'0.023*"alternate" + 0.023*"transfervisions" + 0.013*"tvcommunity"'), (1, u'0.026*"minimalism" + 0.026*"minimalist" + 0.018*"honking"'), (2, u'0.027*"videomaking" + 0.019*"py
浏览 3提问于2017-10-06得票数 2
2回答
使用LDA的相似单词
、、、
我希望将LDA算法应用于语料库，以便在给出一个单词或短语作为输入时找出相似的单词。如何做到这一点？
另外，LDA会忽略文档中单词的顺序吗？它是否也忽略了文档在语料库中的顺序？
也可以使用一些其他策略来搜索相似的单词。文档中单词的顺序并不重要，因为我使用的是文档的语言，也就是说，我的文档是一个单词的袋子，单词的顺序并不重要。
浏览 1提问于2017-06-27得票数 0
我在语料库上使用一个LDA模型来学习它所涵盖的主题。我正在使用gensim包(例如，gensim.models.ldamodel.LdaModel)；如果需要，可以很容易地使用其他版本的LDA。
我的问题是，使用参数化模型和/或主题词或主题is查找和检索包含主题的新文档的最有效方法是什么？
具体来说，我想刮一个媒体API，以找到与我的原始语料库中的主题相关的新文章(样本外文档)。因为我在做这个“盲搜索”，所以在每个新文档上运行LDA可能太麻烦了；大多数新文档将不包含这个主题。
当然，可以简单地检索包含LDA学习主题的大部分常用词的新文档；然后将LDA应用于返回的文档以获得进一步的信心。
我想知
浏览 5提问于2016-10-25得票数 0
回答已采纳
1回答
我正在使用LDA(隐狄利克雷分配)主题建模进行基于内容的图像检索。我也希望使用Python来做同样的事情。我在Python for LDA for image dataset中找不到任何库/包，包似乎只适用于文本语料库。请在Python中为图像语料库推荐任何软件包，或简要列出执行图像LDA所需的步骤。
浏览 6提问于2017-03-07得票数 0
我有一个使用MALLET训练的LDA主题模型，但是我想计算两个文档之间的余弦相似度来获得相似度，但是我不确定我要计算哪个文件的余弦。
我的余弦相似度函数运行得很好，但我不确定我在MALLET中比较的是什么。
任何帮助都将不胜感激！
浏览 1提问于2017-04-07得票数 0
1回答
我对LDA和主题建模很陌生，我想了解一下推理机制。我想应用LDA进行活动识别。假设我已经定义了由事件概率分布组成的10个主题。例如
TOPIC_1 = event1 (0.5), event2 (0.4), event3 (0.0), event4 (0.0) and event5 (0.1).
我想了解一个人一天中哪些话题是活跃的。一个人的一天是由每分钟抽样的一系列事件组成的。
为了了解哪个主题是活跃的，我所做的是：
按每日顺序选择1小时窗口
计算在该小时内发生的事件的分布。
计算与LDA发现的每个主题的相似性。
对吗？你对使用相似函数有什么建议吗？
浏览 5提问于2014-07-22得票数 0
我使用gensim LDA主题建模来查找每个文档的主题，并通过比较接收到的主题向量来检查文档之间的相似性。每个文档都有不同数量的匹配主题，因此向量的比较(根据余弦相似性)是不正确的，因为需要相同长度的向量。
这是相关代码：
lda_model_bow = models.LdaModel(corpus=bow_corpus, id2word=dictionary, num_topics=3, passes=1, random_state=47)
#---------------Calculating and Viewing the topics-------------------------
浏览 0提问于2018-11-21得票数 1
回答已采纳
让我们假设我们有一个适度增长的文档语料库，即每天都有一些新文档添加到这个文档语料库中。对于这些新添加的文档，我可以只使用LDA的推理部分来推断主题分布。我不需要再次对所有文档执行LDA的整个主题估计+推理过程，只为了获得这些新文档的主题分布。但是，随着时间的推移，我可能需要重新执行整个主题生成过程，因为自上次执行LDA以来新添加的文档数量可能会向文档语料库中添加全新的单词。
现在，我的问题是-如何确定两个主题生成执行之间的足够好的间隔？对于我们应该多久执行一次整个文档语料库的LDA，有什么一般性的建议吗？
如果我保持这个间隔很短，那么我可能会失去稳定的主题分布，并且主题分布将不断变化。如果我保
浏览 3提问于2015-10-15得票数 1
4回答
文档相似度
、、
我使用tf/idf来计算两个文档之间的consine相似度。它有一些限制，性能不是很好。
我寻找LDA (隐狄利克雷分配)来计算文档相似度。我对此知之甚少。我找不到太多关于我的问题的东西。
你能给我提供一些与我的问题相关的教程吗？或者你能给我一些建议，我如何通过LDA完成这项任务？
谢谢
附言:还有什么源代码可以用来执行LDA的任务吗？？
浏览 0提问于2010-02-17得票数 5
1回答
我使用Gensim包进行主题建模。这个想法是为了理解flickr标签中的主题是什么。到目前为止，我使用的是这个代码(文档是标签)：
texts = [[word for word in document.split(";") if word not in stoplist] for document in documents]
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
lda = ldamodel.Lda
浏览 3提问于2016-03-04得票数 2
2回答
我已经使用LDA模型(使用Gensim)实现了基于特定文档查找相似文档。我想做的下一件事是，如果我有多个文档，那么如何根据提供的多个文档作为输入来获取相似的文档。
我使用这个实现了LDA
单个查询的示例代码-
dictionary = corpora.Dictionary.load('dictionary.dict')
corpus = corpora.MmCorpus("corpus.mm")
lda = models.LdaModel.load("model.lda") #result from running online lda (tra
浏览 0提问于2017-05-24得票数 0
1回答
我试图从Gensim LDA主题模型计算主题间余弦相似度得分，但事实证明这比我最初预期的要复杂得多。
Gensim有一种计算主题之间距离的方法model.diff(model)，但不幸的是余弦距离没有实现；它有jaccard距离，但它有点太依赖于向量长度(即，当比较每个主题的前100个最重要的单词时，距离低于比较前500个单词，当比较全长向量时，距离为0，因为每个主题包括所有术语，但具有不同的概率)。
我的问题是模型的输出看起来像这样(只显示了4个最重要的单词)：
(30, '0.008*"tax" + 0.004*"cut" + 0.004*"
浏览 45提问于2020-05-04得票数 1
回答已采纳
首先，为自己长篇大论而道歉。
我不是数学家，所以我希望有一个“哑巴”的解决方案。简而言之，我试图比较两组文本来生成建议。下面您将看到的是使用NLP度量相似性的新手尝试。我愿意听取所有反馈意见。但我的主要问题是:下面描述的方法是否能准确地在两组文本中找到相似之处(在措辞、情感等方面)？如果没有，您将如何生成这样的推荐引擎(新方法、新数据等)？
目前，我有两本带有名为personality_feature_dict的人格数据的字典(- one)，其中包括个性类型和相关的描述符词：{'Type 1': ['able', 'accepting',
浏览 1提问于2020-07-07得票数 1
1回答
有一些问题，我已经研究过，但我仍然不确定的几件事。
我想将一个页面流(连在一起的PDF)分割成单个文档。因此，诀窍是找出一个文档的结尾位置和下一个文档的起始位置。因此，PDF可以有1000页，可以由20个文档组成，每个文档都有不同的长度。
尽管如此，我想介绍的一个特性是“页面相似性”，其中页面(p)对其之前的页面(p-1)有一个相似的评分。因此，研究这个问题会让我找到很多使用LDA和LSI模型的例子，但这是一条路吗？
我已经做了一个语料库，从所有1000页的所有标记，大写，曲线图。比较两页的最好方法是什么？我看过，其中使用LSI模型将查询与整个语料库进行比较，但我不知道如何将其与前一个页面/文
浏览 1提问于2022-05-22得票数 1
我正在研究各种NLP算法和工具来解决以下问题；这里是NLP新手，如果它太基础了，请原谅我的问题。
比方说，我有一个消息应用程序，用户可以向一个或多个人发送文本消息。当用户键入消息时，我希望应用程序向用户建议谁是该消息的潜在收件人？
如果用户"A“向用户"B”发送了大量关于“猫”的文本消息，向用户"C“发送了一些消息，并且向用户"D”发送了许多关于“政治”的消息，那么下次用户键入关于“猫”的消息时，应用程序应该建议"B“和"C”而不是"D“。
所以我正在做一些关于主题建模和词嵌入的研究，发现LDA和Word2Vec是我可以使用的两种可能的算
浏览 1提问于2017-10-20得票数 1
3回答
我有一个2000个文档的数据集，其中avg大小为300字。这个词是由特定领域的词主导的.
我的目标是找到类似的文件。为此，我尝试了LDA，LSI，Doc2Vec (topics=100)，但是结果并不好。在我的数据集中，LSI比其他的要好。我也尝试过word2vec (size=100) & word movers的距离，但同样没有运气。我正在考虑尝试POS标记&然后构建一些本体模型，但不确定。
因为数据集不好，我的结果很差吗？我还可以尝试其他一些技术吗？
浏览 0提问于2017-11-01得票数 1
2回答
特定主题语言模型的评价
、、、
我已经在我的自定义数据集上完成了一个预先训练过的语言模型(GPT-2)。我希望有一种方法来评估我的模型生成特定预定义主题的句子的能力，以单个关键字的形式给出。“计算机”)或一袋袋单词(如：“计算机”、“Linux”、“服务器”.)
例如，给定LM，模型的输出与单词计算机指定的主题有多大的关系？
我已经尝试过的是:从LM生成足够多的句子，并将这些句子与目标主题(或主题中的每一个单词，我们有多个单词)之间的平均余弦相似度作为这里描述。我不确定这是否是一种有效的方法，而且句子之间的余弦相似性在很多情况下也会产生很差的结果。
提前感谢您的帮助。
浏览 0提问于2020-10-02得票数 2
回答已采纳
LDA原始输出
乌尼克
- topic1 -scuba,water,vapor,diving
- topic2 -dioxide,plants,green,carbon
所需输出
双字词主题
- topic1 -scuba diving,water vapor
- topic2 -green plants,carbon dioxide
有什么想法吗？
浏览 2提问于2015-09-09得票数 5
回答已采纳
1回答
这个问题可能更适合于像cross-validated这样的板，但我在这里请求一些输入。 我正在尝试构建一个粗略的度量标准，以衡量多个维度(或类别)上任何一对对象之间的相似性(例如，它们可以是经济部门GDP的百分比或学生在多个科目中的成绩)。 我脑海中的一些潜在候选者是来自LDA (潜在狄利克雷分配)的潜在主题方法，该方法在K个集群的列表中为每个单元分配(非零)概率，以及word2vec，该方法基于文本的矢量化分数来衡量任意两个语料库之间的相似性。但考虑到我要处理的对象通常具有固定数量的类别(例如，学术科目、经济部门)和有界分布(例如，在0到100之间)。我想知道，对于这项任务，什么是更合适的
浏览 30提问于2021-03-18得票数 0
我使用如下的most_similar()方法来获取与给定单词相似的所有单词：
word,score= model.most_similar('apple',topn=sizeofdict)
AFAIK，它的作用是计算给定单词和字典中所有其他单词之间的余弦相似度。当我检查单词和分数时，我可以看到列表中有负分数的单词。这是什么意思？它们是与给定单词具有相反含义的单词吗？
另外，如果它使用余弦相似度，它是如何得到负值的？对于两个文档，余弦相似度在0-1之间变化。
浏览 2提问于2016-01-19得票数 5
我试图找出适合不同概率模型的最佳方法(如潜隐Dirichlet分配、非负矩阵分解等)。
查看sklearn文档中的示例，我想知道为什么LDA模型适合TF数组，而NMF模型适合TF-国防军数组。这一选择有确切的原因吗？
下面是示例：http://scikit-learn.org/stable/auto_实例/应用程序/主题_抽提_使用_nmf_lda.html#sphx-glr-auto-examples-applications-topics-extraction-with-nmf-lda-py
另外，关于如何找到最佳参数的任何技巧(迭代次数、主题数量.)适合我的模特是很受欢迎的。
提前谢谢你
浏览 0提问于2016-10-21得票数 4
1回答
我使用spark的word2vec算法来计算文本的文档向量。
然后，我使用模型对象的findSynonyms函数来获得几个单词的同义词。
我看到的是这样的东西：
w2vmodel.findSynonyms('science',4).show(5)
+------------+------------------+
| word| similarity|
+------------+------------------+
| physics| 1.714908638833209|
| fiction|1.5189824643358183
浏览 0提问于2016-12-29得票数 6
我试图找出两个文档，即'document_1‘和'document_2’之间的相似性。我正在使用Doc2Vec Gensim的来寻找相似性评分。
score = model.docvecs.similarity_unseen_docs(trainedModel, document_1, document_2)
print(score)
分数为负值的地方。
这里，document_1和document_2是NLTK的word_tokenize()的结果。
当我们试图找出两个"tokenized“文档之间的相似性时，负分数意味着什么？
P.S:对模型进行了10个文档(每个2
浏览 2提问于2019-11-15得票数 0
1回答
计算两个向量之间的相似性
、、、、
我用topic_number=5在一个文档集上做了LDA。因此，我有五个单词向量，每个单词都有一个权重或重要程度，如下所示：
Topic_A = {(word_A1,weight_A1), (word_A2, weight_A2), ... ,(word_Ak, weight_Ak)}
Topic_B = {(word_B1,weight_B1), (word_B2, weight_B2), ... ,(word_Bk, weight_Bk)}
.
.
Topic_E = {(word_E1,weight_E1), (word_E2, weight_E2), ... ,(word_Ek, we
浏览 0提问于2018-05-22得票数 2
我使用k-means对归一化数据进行聚类。我使用了不同的相似度矩阵，如欧几里得、曼哈顿和余弦，当我使用余弦相似度时，Dunn指数为负值。我读到过邓恩指数的取值范围从0到无穷大。使用余弦相似度计算Dunn指数是正确的吗？ 我用过this implementation of Dunn Index。
浏览 94提问于2019-06-12得票数 1
回答已采纳
我正在通过以下代码创建一个数据集： from lightfm.data import Dataset
from lightfm import LightFM
dataset = Dataset()
dataset.fit((row['id'] for row in user_queryset.values()),
(row['id'] for row in item_queryset.values()))
num_users, num_items = dataset.interactions_shape()
(intera
浏览 37提问于2019-02-17得票数 2
回答已采纳
1回答
我计算基于余弦相似度的tf-idf矩阵：
tfidf_vectorizer_desc = TfidfVectorizer(min_df=5, max_df=0.8, use_idf=True, smooth_idf=True, sublinear_tf=False, tokenizer=tokenize_and_stem)
%time tfidf_matrix_desc = tfidf_vectorizer_desc.fit_transform(descriptions) #fit the vectorizer to text
sim_desc = cosine_similarity(tfid
浏览 4提问于2016-06-14得票数 0
1回答
基于内容的推荐可能吗？
、、、
我在探索基于内容的算法，所以我了解到基于内容的算法是用来计算项目和用户之间的相似度的，就像"pandora“一样。所以我的要求是我有100的比例，例如用户可以喜欢40%的蔬菜和60%的非蔬菜，有喜欢/不喜欢的比例，项目也会有蔬菜，非蔬菜属性。是否可以计算用户偏好比例和项目的相似度，或者是否有符合我需求的算法或帮助我的文档？
提前感谢
浏览 2提问于2015-07-23得票数 0
在数学中，向量具有大小和方向。
在数据科学中，为了识别文档的相似性，我们将文档转换为特征向量。然后应用源文档与目标文档特征向量之间的余弦角公式。
然而，余弦公式仅适用于向量。一个矢量应该有两个震级和方向。对于表示为向量的文档，方向在哪里？
浏览 0提问于2020-05-17得票数 1
我有一个程序，可以从互联网上提取地址，并将其与数据库进行核对。它很有用，但我现在正在尝试引入一个相似性函数，将互联网上的地址与我数据库中的地址进行比较。
我使用下面的脚本来检查余弦相似度如何比较地址：
import string
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import CountVectorizer
addresses = [
'705 Sherlock House, 221B Baker Street, London NW
浏览 3提问于2020-05-24得票数 0
我正在尝试在每一行的多个单词中做一些模式‘挖掘’。我已经使用perl中的Text::Ngrams模块进行了N元语法分析，它给出了每个单词的频率。然而，我对这篇文章中的发现模式感到相当困惑。
我猜tf-idf也能找到频率，但这与我做的Ngram分析有什么不同，相似性度量也有什么帮助。
有没有什么perl模块或代码片段可以让我理解其中的一些概念。
请我是一个物理背景，但必须做一些模式识别，所以我是一个新的一些，在这个主题上的一个很好的参考将不胜感激。
浏览 0提问于2011-06-27得票数 0
回答已采纳
1回答
我正在使用tf.losses.cosine_distance(Y, outputs, axis=2, reduction=tf.losses.Reduction.MEAN)来衡量我的标签和预测之间的差异。张量形状为[batch_size, sequence_length, embedding]。在我的例子中，预测的形状是[16311, 20, 100]。
我的结果如下。
----------------------epoch1----------------------
train 1 loss 1.1429076
----------------------epoch2----------
浏览 0提问于2019-05-29得票数 1
1回答
句子转换器如何预测新实例
、、、、
我正在探索句子转换器，并偶然发现了这个。它展示了如何对我们的自定义数据进行培训。但我不知道该怎么预测。如果有两个新句子，如1)这是第三个例子，2)这是第三个例子。我怎么能预测到这些句子有多相似呢？
from sentence_transformers import SentenceTransformer, InputExample, losses
from torch.utils.data import DataLoader
#Define the model. Either from scratch of by loading a pre-trained model
model = Sen
浏览 1提问于2022-01-04得票数 2
2回答
我正在处理一个项目，其中我需要将主题建模应用于一组文档，并且我需要创建一个矩阵：
DT，一个D×T矩阵，其中D是文档数，T是主题数。DT(ij)包含文档Di中的单词被分配给主题Tj的次数。
到目前为止，我关注了这个tut：
我刚接触gensim，到目前为止，我已经创建了一个文档列表。2.对文档进行预处理和标记化。3.使用corpora.Dictionary()创建id->术语字典(id2word) 4.将标记化的文档转换为文档-术语矩阵
生成了LDA模型。所以现在我得到了主题。
我现在怎样才能得到我之前提到的矩阵。我将使用这个矩阵来计算主题t上两个文档之间的相似度，如下所示：
sim(a
浏览 0提问于2016-03-24得票数 0
1回答
我想为在google上搜索的搜索查询计算某种相似度分数。
这意味着，在其他事情中，单词的顺序并不一定重要。例如：
“阿迪达斯蓝色鞋子”和“蓝色鞋子阿迪达斯”
应该被认为是完全相同的序列，而我认为在许多传统的距离算法中并非如此。
我猜上面的例子可以用余弦相似度解决，但如果我有：
“蓝色阿迪达斯鞋”
我想算法产生一个非常相似的距离，原来的“”阿迪达斯鞋蓝色“
这样的算法存在吗？
浏览 0提问于2017-07-03得票数 0
1回答
我用sklearn.metrics.pairwise中的cosine_similarity计算了一个余弦相似度矩阵。 Matrix:
2414514 413915 419480 473104 534621 609406 654913 654914 \
2414514 1.000000 0.0 0.0 0.0 0.0 0.0 0.755929 0.755929
413915 0.000000 1.0 0.0 0.0 0.0 1.0 0.000000 0.00000
浏览 9提问于2019-04-02得票数 0
基因similar_by_word函数的相似性是多少？
我在这里读到了基因similar_by_word函数：
similar_by_word函数返回一个序列(word，相似性)。这里的相似性定义是什么?它是如何计算的？
浏览 0提问于2019-02-11得票数 0
回答已采纳
3回答
假设我有100个文本文档，我想对这些文档进行集群。
第一步是构造文档的成对相似矩阵100X100。
我的问题是：
衡量两个文档之间相似性的通用方法是什么？
谢谢,
浏览 0提问于2019-04-14得票数 4
回答已采纳
1回答
在NLP中，通常情况下，特征的维度非常大。例如，对于手头的一个项目，特征的维度几乎是20,000 (p = 20,000)，并且每个特征都是一个0-1整数，以显示论文中是否存在特定的单词或二元语法(一篇论文是R^{p}$中的数据点$x \)。
我知道特征之间的冗余度很大，所以降维是必要的。我有三个问题：
1)我有10,000个数据点(n = 10,000)，每个数据点有10,000个特征(p = 10,000)。进行降维的有效方法是什么？R^{n \x p}$中的矩阵奇异值分解( $X )是如此之大，以至于主成分分析(或奇异值分解，截断奇异值分解)都可以，但我不认为奇异值分解是降低二进制特征维
浏览 13提问于2014-11-21得票数 6
他们的目标都是一样的:找到相似的向量。在哪种情况下你会使用哪一种？(有什么实际的例子吗？)
浏览 12提问于2009-12-03得票数 48
回答已采纳
1回答
两个文档之间的不同特征
、、、
我试图找出这两份文件之间的不同之处。我正在使用gensim，到目前为止已经获得了相似度分数。
有没有办法知道两个文档之间的相异分数和相异特征？如何评估它？
浏览 1提问于2018-07-03得票数 0
我有2个文档X和Y。如果用户搜索单词"Computer“，并且我想显示基于关键字"Computer”的最相关的文档。我的算法根据关键词在文档中出现的次数来选择最相关的文档。唯一的问题是文档X有10个单词，"Computer“出现两次，而文档Y有1000个单词，"Computer”出现100次。从文档中的字数来看，说文档Y比文档X更相关是不正确的。
如何对此进行规范化，以获得最准确的相关文档。
浏览 8提问于2016-01-09得票数 0
我已经理解了当计算单词之间的相似度时LSA是如何工作的。我正在使用lsa.colorado.edu网站上的LSA，但我找不到一个来源，即句子或多个单词之间的相似度是如何计算的。这仅仅是通过平均所有成对的相似性来完成的吗？
浏览 1提问于2012-12-17得票数 1
1回答
我已经通过了LSA方法。有人说，LSA可以用于语义分析。但我不明白它在LSA是如何运作的。有人能告诉我LSA是如何处理语义的吗。
浏览 5提问于2014-08-15得票数 1
回答已采纳
Scikit-learn的sklearn.metrics.pairwise.cosine_similarity和sklearn.metrics.pairwise.pairwise_distances(..的区别是什么Metric=“余弦”)？
from sklearn.feature_extraction.text import TfidfVectorizer
documents = (
"Macbook Pro 15' Silver Gray with Nvidia GPU",
"Macbook GPU"
)
tfidf_v
浏览 2提问于2016-02-09得票数 7
回答已采纳
以下是我的代码
from sklearn.feature_extraction.text import TfidfVectorizer
corpus = [
"this is first document ","this is second document","this is third","which document is first", ]
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(corpus)
X.toarray()
这
浏览 0提问于2019-12-11得票数 2
假设我有两个文档，A和B，每个文档有两个版本，1和2。我计算(A1，A2)和(B1，B2)的余弦相似度。设Sa =余弦(A1，A2)，Sb =余弦(B1，B2)。
如果Sa < Sb，我可以说文档A比文档B有更大的变化或更新吗？
一篇论文指出：“一对文档越长，两个文档中包含一个单词的可能性就越大，导致文档不同的可能性较低(有关分析证据，请参阅附录B)。”论文可以在上找到。
这是真的吗？由于词汇表的大小有限，这一说法对于Jaccard相似性可能是正确的。但是，余弦相似性是一个角度，从直觉上讲，文档的长度并不重要。如果这是真的，那么调整长度的相似性分数的最佳方法是什么，以便我可以在不同的文档
浏览 0提问于2019-05-05得票数 0
1回答
NLP如何获取两个文档之间的差异
、、、、
我有2个文档A-B (或2系列文档)，我想要一个新的文档来显示这两个文档之间的差异: A-B
根据不同，有几种定义，一种是:单词列表/“概念”包括在A中但不包括在B中。
我正在考虑对A和B的每个句子使用TF IDF，例如：
from sklearn.feature_extraction.text import TfidfVectorizer
d1 = [open(f1) for f1 in text_files]
tfidf = TfidfVectorizer().fit_transform(d1)
pairwise_similarity = tfidf * tfidf.T
我不确定这是否与生
浏览 0提问于2016-06-08得票数 0
1回答
LDA的混淆矩阵
、、、、
我试图使用混淆矩阵来检查我的LDA模型的性能，但是我不知道该怎么做。我希望有人能指点我的方向。
所以我在一个充满短文档的语料库上运行了一个LDA模型。然后，我计算了每个文档的平均向量，然后开始计算余弦相似性。
我现在怎么会得到混乱矩阵呢？请注意，我是非常新的世界的NLP。如果有其他/更好的方法来检查这种型号的性能，请告诉我。
浏览 1提问于2019-08-01得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
