python根据BM25实现文本检索

目的

给定一个或多个搜索词,如“高血压 患者”,从已有的若干篇文本中找出最相关的(n篇)文本。

理论知识

文本检索(text retrieve)的常用策略是:用一个ranking function根据搜索词对所有文本进行排序,选取前n个,就像百度搜索一样。

显然,ranking function是决定检索效果最重要的因素,本文选用了在实际应用中效果很好的BM25。BM25其实只用到了一些基础的统计和文本处理的方法,没有很高深的算法。

BM25

上图是BM25的公式,对于一个搜索q和所有文本,计算每一篇文本d的权重。整个公式其实是TF-IDF的改进:

  • 第一项c(w,q)就是搜索q中词w的词频
  • 第三项是词w的逆文档频率,M是所有文本的个数,df(w)是出现词w的文本个数
  • 中间的第二项是关键,实质是词w的TF值的变换,c(w,d)是词w在文本d中的词频。首先是一个TF Transformation,目的是防止某个词的词频过大,经过下图中公式的约束,词频的上限为k+1,不会无限制的增长。例如,一个词在文本中的词频无论是50还是100,都说明文本与这个词有关,但相关度不可能是两倍关系。

TF Transformation

  • 上图的公式分母中的k还乘了一个系数,目的是归一化文本长度。归一化公式中,b是[0,1]之间的常数,avdl是平均文本长度,d是文本d的长度。显然,d比平均值大,则normalizer大于1,代入BM25最终的权重变小,反之亦然。

length normalization

Python实现

下面通过一个例子来实现根据BM25来进行文本检索。现在从网上爬下来了几十篇健康相关的文章,部分如下图所示。模拟输入搜索词,如“高血压 患者 药物”,搜素最相关的文章。

文本列表

python的实现用到了gensim库,其中的BM25实现的源码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#
# Licensed under the GNU LGPL v2.1 - http://www.gnu.org/licenses/lgpl.html
 import math
from six import iteritems
from six.moves import xrange
 # BM25 parameters. 
PARAM_K1 = 1.5
PARAM_B = 0.75
EPSILON = 0.25
 class BM25(object):      
def __init__(self, corpus):         
self.corpus_size = len(corpus)         
self.avgdl = sum(map(lambda x: float(len(x)), corpus)) / self.corpus_size         self.corpus = corpus         
self.f = []         
self.df = {}         
self.idf = {}         
self.initialize()      
def initialize(self):        
 for document in self.corpus:             
frequencies = {}             
for word in document:                 
if word not in frequencies:                     
frequencies[word] = 0                 
frequencies[word] += 1             
self.f.append(frequencies)             
 for word, freq in iteritems(frequencies):                 
if word not in self.df:                     
self.df[word] = 0                 
self.df[word] += 1          
for word, freq in iteritems(self.df):             
self.idf[word] = math.log(self.corpus_size - freq + 0.5) - math.log(freq + 0.5)      
def get_score(self, document, index, average_idf):         
score = 0         
for word in document:             
if word not in self.f[index]:                 
continue             
idf = self.idf[word] if self.idf[word] >= 0 else EPSILON * average_idf             
score += (idf * self.f[index][word] * (PARAM_K1 + 1)                       
/ (self.f[index][word] + PARAM_K1 * (1 - PARAM_B + PARAM_B * self.corpus_size / self.avgdl)))         
return score      
def get_scores(self, document, average_idf):         
scores = []         
for index in xrange(self.corpus_size):             
score = self.get_score(document, index, average_idf)             
scores.append(score)        
 return scores
 def get_bm25_weights(corpus):     
bm25 = BM25(corpus)     
average_idf = sum(map(lambda k: float(bm25.idf[k]), bm25.idf.keys())) / len(bm25.idf.keys())      
weights = []     
for doc in corpus:         
scores = bm25.get_scores(doc, average_idf)
        weights.append(scores)      
return weights

gensim中代码写得很清楚,我们可以直接利用。

import jieba.posseg as psegimport codecsfrom gensim import corporafrom gensim.summarization import bm25import osimport re

构建停用词表

stop_words = '/Users/yiiyuanliu/Desktop/nlp/demo/stop_words.txt'stopwords = codecs.open(stop_words,'r',encoding='utf8').readlines() stopwords = [ w.strip() for w in stopwords ]

结巴分词后的停用词性 [标点符号、连词、助词、副词、介词、时语素、‘的’、数词、方位词、代词]

stop_flag = ['x', 'c', 'u','d', 'p', 't', 'uj', 'm', 'f', 'r']

对一篇文章分词、去停用词

def tokenization(filename): result = [] with open(filename, 'r') as f: text = f.read() words = pseg.cut(text) for word, flag in words: if flag not in stop_flag and word not in stopwords: result.append(word) return result

对目录下的所有文本进行预处理,构建字典

corpus = []; dirname = '/Users/yiiyuanliu/Desktop/nlp/demo/articles'filenames = []for root,dirs,files in os.walk(dirname): for f in files: if re.match(ur'[\u4e00-\u9fa5]*.txt', f.decode('utf-8')): corpus.append(tokenization(f)) filenames.append(f) dictionary = corpora.Dictionary(corpus)print len(dictionary)

Building prefix dict from the default dictionary ...

Loading model from cache /var/folders/1q/5404x10d3k76q2wqys68pzkh0000gn/T/jieba.cache Loading model cost 0.328 seconds. Prefix dict has been built succesfully.

2552

建立词袋模型

打印了第一篇文本按词频排序的前5个词

doc_vectors = [dictionary.doc2bow(text) for text in corpus] vec1 = doc_vectors[0] vec1_sorted = sorted(vec1, key=lambda (x,y) : y, reverse=True)print len(vec1_sorted)for term, freq in vec1_sorted[:5]: print dictionary[term]

76 高血压 患者 药物 血压 治疗

用gensim建立BM25模型

bm25Model = bm25.BM25(corpus)

根据gensim源码,计算平均逆文档频率

average_idf = sum(map(lambda k: float(bm25Model.idf[k]), bm25Model.idf.keys())) / len(bm25Model.idf.keys())

假设用户输入了搜索词“高血压 患者 药物”,利用BM25模型计算所有文本与搜索词的相关性

query_str = '高血压 患者 药物'query = []for word in query_str.strip().split(): query.append(word.decode('utf-8')) scores = bm25Model.get_scores(query,average_idf)# scores.sort(reverse=True)print scores

[4.722034069722618, 4.5579610648148625, 2.859958016641194, 3.388613898734133, 4.6281563584251995, 4.730042214103296, 1.447106736835707, 2.595169814422283, 2.894213473671414, 2.952010252059601, 3.987044912721877, 2.426869660460219, 1.1583806884161147, 0, 3.242214688067997, 3.6729065940310752, 3.025338037306947, 1.57823130047124, 2.6054874252518214, 3.4606547596124635, 1.1583806884161147, 2.412854586446401, 1.7354863870557247, 1.447106736835707, 3.571235274862516, 2.6054874252518214, 2.695780408029825, 2.3167613768322295, 4.0309963518837595, 0, 2.894213473671414, 3.306255023356817, 3.587349029341776, 3.4401107112269824, 3.983307351035947, 0, 4.508767501123564, 3.6289862140766926, 3.6253442838304633, 4.248297326100691, 3.025338037306947, 3.602635199166345, 3.4960329155028464, 3.3547048399034876, 1.57823130047124, 4.148340973502125, 1.1583806884161147]

idx = scores.index(max(scores))print idx

5

找到最相关的文本

fname = filenames[idx]

print fname

关于降压药的五个问题.txt

with open(fname,'r') as f:    
print f.read()     

高血压的重要治疗方式之一,就是口服降压药。对于不少刚刚被确诊的“高血压新手”来说,下面这些关于用药的事情,是必须知道的。 1. 贵的药,真的比便宜的药好用吗? 事实上,降压药物的化学机构和作用机制不一样。每一种降压药,其降压机理和适应人群都不一样。只要适合自己的病情和身体状况,就是好药。因此,不存在“贵重降压药一定比便宜的降压药好使”这一说法。 2. 能不吃药就不吃药,靠身体调节血压,这种想法对吗? 这种想法很幼稚。其实,高血压是典型的,应该尽早服药的疾病。如果服药太迟,高血压对重要脏器持续形成伤害,会让我们的身体受很大打击。所以,高血压患者尽早服药,是对身体的最好的保护。 3. 降压药是不是得吃一辈子? 对于这个问题,中医和西医有着不同的认识。西医认为,降压药服用之后不应该停用,以免血压形成波动,造成对身体的进一步伤害。中医则认为,通过适当的运动和饮食调节,早期的部分高血压患者,可以在服药之后的某段时间里停药。总之,处理这一问题的时候,我们还是要根据自己的情况而定。对于高血压前期,或者轻度高血压的人来说,在生活方式调节能够让血压稳定的情况下,可以考虑停药,采取非药物疗法。对于中度或者重度的高血压患者来说,就不能这么做了。 4. 降压药是不是要早晨服用? 一般来说,长效的降压药物,都是在早晨服用的。但是,我们也可以根据高血压患者的波动情况,适当改变服药时间。 5. 降压药是不是一旦服用就不能轻易更换? 高血压病人一旦服用了某种降压药物,就不要轻易更换。只要能维持血压在正常范围而且稳定,就不用换药。只有在原有药物不能起到控制作用的时候,再考虑更换服药方案。对于新发高血压病人来说,长效降压药若要达到稳定的降压效果,往往需要4到6周或者更长时间。如果经过4到6周也实现不了好的控制效果,可以考虑加第二种药物来联合降压,不必盲目换药。

参考资料

Coursera: Text Mining and Analytics(https://www.coursera.org/learn/text-mining)

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-12-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

2017年深度学习必读31篇论文

新智元报道 作者:Kloud Strife 译者:刘光明,费欣欣 【新智元导读】2017年即将擦肩而过,Kloud Strife在其博客上盘点了今年最值得关注的...

17610
来自专栏量化投资与机器学习

【高能】用PyMC3进行贝叶斯统计分析(代码+实例)

问题类型1:参数估计 真实值是否等于X? 给出数据,对于参数,可能的值的概率分布是多少? 例子1:抛硬币问题 硬币扔了n次,正面朝上是h次。 参数问题 想知道...

2759
来自专栏媒矿工厂

【视频编码】 Content Aware ABR技术(四)

在本系列前面的帖子中,我们梳理了Netflix、YouTube和Beamr在ABR方面的一些进展,本文将简要介绍一下编码优化领域的另一位成员—EuclidIQ的...

3139
来自专栏PPV课数据科学社区

基于 Python 的数据可视化

来源:bea_tree 英文:kaggle 链接:blog.csdn.net/bea_tree/article/details/50757338 原文采用了...

3136
来自专栏AI科技大本营的专栏

谷歌大脑深度学习从入门到精通视频课程[8.3]:稀疏编码——参数更新(梯度下降)

AI100 已经引入 Hugo Larochelle 教授的深度学习课程,会在公众号中推送,并且对视频中的 PPT 进行讲解。课后,我们会设计一系列的问题来巩...

3285
来自专栏深度学习与计算机视觉

深度学习与机器学习中开源图片数据库汇总

数据的准备工作是训练模型前的必要工作,显然这也是非常耗时的,所以在入门阶段我们完全可以用现有的开源图片库快速完成前期的准备工作: ImageNet ImageN...

2865
来自专栏专知

CVPR2017 VQA 任务冠军:基于双向注意力机制视觉问答pyTorch实现

【导读】在CVPR2017上举办的VQA(Visual Question Answering)比赛中,基于双向注意力机制视觉问答(Bottom-Up and T...

42411
来自专栏专知

【前沿】用AlphaGo Zero方法实现增强学习下棋

【导读】Google DeepMind AlphaGo团队在Nature上发表两篇论文《Mastering the game of Go without Hum...

3298
来自专栏CreateAMind

声音图片 多感知论文

In this work, we show that a model trained to predict held-out sound from video ...

642
来自专栏机器学习人工学weekly

机器学习人工学weekly-2018/3/4

1. RL相关 1.1 inverse RL教程,第一部分就是讲Andrew Ng 20年前的奠基论文(我没读原论文,但是惊讶的发现居然全部是用的LP解的)。这...

4148

扫描关注云+社区