tf-idf

版权声明：本文为博主原创文章，转载请注明出处。 https://cloud.tencent.com/developer/article/1437701

TF-IDF 是为了解决 document 中 term 的权重问题。

TF （term frequency）

将一个 document 中的每一个 term 都赋予一个权重，最简单的方法就是将 term 在此 document 中出现的次数。用频数表示权重的方法叫做 TF，数学表示为：tft,d\text{tf}_{t,d} ，表示 “document” d 中 “term” t 出现的次数。

IDF（Inverse document Frequency）

使用 TF 方法进行 query 有个很严重的问题：所有的 query term 都被同等的对待。实际情况下，并不是所有的 term 都具有同样的辨别力。比如说，and 这个 term 几乎会出现在所有的 document 中。一个想法是，使用 term 的 document 间 frequency 来调整 使用 term frequency计算出来的 term 的权重 。idf 就是这么一个调整系数。

dft\text{df}_t : 集合中，包含 “term” t 的 document 个数

idft=logN_df_t\text{idf}_t = \log \frac{N}{\text{df}_t} : 其中 N 表示 集合中 document 的个数。 值越大，表示 “term” t 更具有辨别力。

tf-idf weighting

tf-idf weighting 的公式如下：

tf-idft,d=tft,d∗idft

\text{tf-idf}_{t,d} = \text{tf}_{t,d} *\text{idf}_t

在 Query 情况下，如何计算document 的 Score：

Score(q,d)=∑t∈q_tf-idf_t,d

\text{Score}(q,d) = \sum_{t \in q} \text{tf-idf}_{t,d}

参考资料

https://nlp.stanford.edu/IR-book/html/htmledition/inverse-document-frequency-1.html

https://nlp.stanford.edu/IR-book/html/htmledition/term-frequency-and-weighting-1.html

https://nlp.stanford.edu/IR-book/html/htmledition/tf-idf-weighting-1.html