问测量两个短语之间的语义相似度

EN

这是一个非常复杂的问题。

我能想到的主要技术(在进入更复杂的NLP过程之前)是对每一对短语应用余弦(或任何其他度量)相似度。显然，由于不匹配问题，这种解决方案目前效率非常低:句子可能会用不同的单词引用相同的概念。

要解决这个问题，您应该将每个短语的初始表示形式转换为更具“概念性”的含义。一种选择是使用其同义词来扩展每个单词(即使用WordNet，另一种选择是应用诸如分布语义DS (http://liawww.epfl.ch/Publications/Archive/Besanconetal2001.pdf)之类的度量，该度量使用更可能与其一起出现的单词来扩展每个术语的表示。

例如:文档的表示：{"car"，"race"}将被转换为具有同义词的{"car"，“car”，"race"}。然而，对于DS，它将类似于：{“汽车”，“车轮”，“道路”，“飞行员”，...}

显然，这种转换不会是二进制的。每一项都会有一些相关的权重。

我希望这能帮到你。

也许cortical.io应用程序接口可以帮助您解决问题。这里的方法是将每个单词转换为具有16K语义特征的语义指纹，以表征其含义。短语、句子或更长的文本通过将单词指纹ORing在一起来转换为指纹。在此转换为(数字)二进制向量表示后，可以使用欧几里得距离或余弦相似度等距离度量轻松计算语义距离。api提供了所有必要的转换和比较功能。