问句子语义相似度和频度

EN

我会考虑使用一些更新的想法来实现word/文档嵌入，以实现句子相似性，例如：

• https://www.tensorflow.org/hub/modules/google/universal-sentence-encoder/1
• https://github.com/facebookresearch/StarSpace -最近这个实现被添加到RASA NLU - https://github.com/RasaHQ/rasa_nlu/blob/master/rasa_nlu/classifiers/embedding_intent_classifier.py
• https://github.com/commonsense/conceptnet-numberbatch
• http://alt.qcri.org/semeval2017/task1/ -它的年度竞赛与自然语言处理任务相关，语义文本相似性也在那里。对你来说，这可能是一个很好的想法来源。

一方面，句子嵌入可以用来轻松地比较句子，另一方面，你可以对单词嵌入进行平均/求和，以获得整个句子的嵌入。为了比较句子向量，可以使用余弦相似度等度量标准。

我找到了一些论文，也许能给你一些关于如何解决这个问题的想法。他们使用WordNet，这是一个可以用来检查单词相似度的语料库，它可以在NLTK上使用：

1. Corley，Courtney和Rada Mihalcea。“测量文本的语义相似度。”关于语义等价和蕴涵的经验建模的ACL研讨会论文集。计算语言学协会，2005年。-->在文本级别翻译单词对单词的相似度，我相信您可以将其应用于句子。(https://aclanthology.info/pdf/W/W05/W05-1203.pdf)
2. Honeck，Richard P.“句子之间的语义相似性。”《心理语言学研究杂志》2.2 (1973)：137-151。-->这是另一篇计算句子之间相似度分数的论文。

我只浏览了这两篇论文，但似乎第一篇论文顺序使用了句法和语义相似性技术，而第二篇论文并行使用了它们。

作者声明：

1. Miller，Walter G.“语义相似性的上下文关联。”语言和认知过程6.1 (1991)：1-28。-->这是一篇语言学论文，它可能会让你更好地理解如何比较句子的语义相似性，以防前两种方法对你不起作用，你必须想出自己的解决方案。

祝你好运，希望这对你有帮助！