《自然语言处理实战入门》文本检索与信息抽取 ---- 关键词抽取

文章大纲

• 章节目录
• 参考文档

章节目录

• 《自然语言处理实战入门》 文本检索---- 初探

常用的检索算法有根据余弦相似度进行检索，Jaccard系数，海灵格-巴塔恰亚距离和BM25相关性评分。

（1）余弦(cosine)相似度，用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。适合word2vec模型向量化的数据。

（2）Jaccard（杰卡德）相似性系数，主要用于计算符号度量或布尔值度量的样本间的相似度。若样本间的特征属性由符号和布尔值标识，无法衡量差异具体值的大小，只能获得“是否相同”这样一种结果，而Jaccard系数关心的是样本间共同具有的特征。适合词集模型向量化的数据。

（3）海灵格-巴塔恰亚（Hellinger-Bhattacharya）距离（HB距离），也称为海灵格距离或巴塔恰亚距离。巴塔恰亚距离有巴塔恰亚（A. Bhattacharya）提取，用于测量两个离散或连续概率分布之间的相似度。海灵格（E. Hellinger）在 1909 年提出了海灵格积分，用于计算海灵格距离。总的来说，海灵格-巴塔恰亚距离是一个 f 散度（f-divergence），f 散度在概率论中定义为函数 Dƒ(P||D)，可用于测量 P 和 Q 概率分布之间的差异。有多种 f 散度的实例，包括 KL 散度和 HB 距离。请记住，KL 散度不是一个距离度量，因为它不符合将距离测量值作为度量所需的四个条件。对于连续和离散的概率分布，均可以计算 HB 距离。在例子中，将会使用基于 TF-IDF 的向量作为文档的概率分布。该分布为离散分布，因为对于特定的特征项有特定的 TF-IDF 值，即数值不连续。海灵格-巴塔恰亚距离的数学定义为：

其中 hdb(u,v) 表示文档向量 u 和 v 之间的海灵格-巴塔恰亚距离，并且它等于向量的平方根差的欧几里得或 L2 范数除以 2 的平方根。

参考文档