问定量评价两个文本语料库之间的相似性

EN

首先，文本的相似性不同:词汇(使用相同的词)、语义(谈论的主题大多相同)、文体(大多是用相同的风格写的，可能是同一个作者写的)等等。

我假设是最标准的情况，也就是你在寻找某种语义相似性。有不同的方法：

• 最简单的可能是将这两种文本表示为TFIDF向量，并使用余弦TFIDF对它们进行比较。请注意，预处理选项可能会产生巨大的影响，例如滤除低频、美化等。
• 更高级的方法将这两个文本表示为嵌入并比较这些向量。这需要预先训练的单词嵌入，并且需要更多的计算。

无论如何，没有二进制答案，文本相似性通常被认为是连续的。这更有意义，因为往往没有明确的答案:不同的人可能不同意两种文本是否相似。