专栏首页python3python做全文检索引擎

python做全文检索引擎

python做全文检索引擎

** 最近一直在探索着如何用python实现像百度那样的关键词检索功能。说起关键词检索,我们会不由自主地联想到正则表达式。正则表达式是所有检索的基础,python中有个re类,是专门用于正则匹配。然而,光光是正则表达式是不能很好实现检索功能的。

python有一个whoosh包,是专门用于全文搜索引擎。 whoosh在国内使用的比较少,而它的性能还没有sphinx/coreseek成熟,不过不同于前者,这是一个纯python库,对python的爱好者更为方便使用。具体的代码如下

安装

输入命令行 pip install whoosh

需要导入的包有:

fromwhoosh.index import create_in

fromwhoosh.fields import *

fromwhoosh.analysis import RegexAnalyzer

fromwhoosh.analysis import Tokenizer,Token

中文分词解析器

class ChineseTokenizer(Tokenizer):
    """
    中文分词解析器
    """
    def __call__(self, value, positions=False, chars=False,
                 keeporiginal=True, removestops=True, start_pos=0, start_char=0,
                 mode='', **kwargs):
        assert isinstance(value, text_type), "%r is not unicode "% value
        t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
        list_seg = jieba.cut_for_search(value)
        for w in list_seg:
            t.original = t.text = w
            t.boost = 0.5
            if positions:
                t.pos = start_pos + value.find(w)
            if chars:
                t.startchar = start_char + value.find(w)
                t.endchar = start_char + value.find(w) + len(w)
            yield t


def chinese_analyzer():
    return ChineseTokenizer()

构建索引的函数

 @staticmethod
    def create_index(document_dir):
        analyzer = chinese_analyzer()
        schema = Schema(titel=TEXT(stored=True, analyzer=analyzer), path=ID(stored=True),
                        content=TEXT(stored=True, analyzer=analyzer))
        ix = create_in("./", schema)
        writer = ix.writer()
        for parents, dirnames, filenames in os.walk(document_dir):
            for filename in filenames:
                title = filename.replace(".txt", "").decode('utf8')
                print title
                content = open(document_dir + '/' + filename, 'r').read().decode('utf-8')
                path = u"/b"
                writer.add_document(titel=title, path=path, content=content)
        writer.commit()

检索函数

 @staticmethod
    def search(search_str):
        title_list = []
        print 'here'
        ix = open_dir("./")
        searcher = ix.searcher()
        print search_str,type(search_str)
        results = searcher.find("content", search_str)
        for hit in results:
            print hit['titel']
            print hit.score
            print hit.highlights("content", top=10)
            title_list.append(hit['titel'])
        print 'tt',title_list
        return title_list

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python列表list详解篇(七)

    list_names = ['shenzhen','nanjing','beijing'] #list_num = ['11','22','33'] prin...

    py3study
  • 排序时间复杂度对比

    py3study
  • Python函数参数(补充)

      最近看了几篇文章,介绍函数传参数的,下面一一介绍,希望对你理解Python有帮助。

    py3study
  • 太实用了!自己动手写软件——我们的密码破解器终于完成了

    之前我们完成了密码破解工具的界面,今天我们终于把软件功能给实现了,我们先来看看实现效果吧

    菜鸟小白的学习分享
  • GAN的发展系列二(PGGAN、SinGAN)

    在前面的文章里我们已经介绍了GAN生成对抗网络的入门和一些GAN系列,在之后的专辑里会继续介绍一些比较经典的GAN。

    Minerva
  • 编码习惯之工具类规范

    一个项目不可能没有工具类,工具类的初衷是良好的,代码重用,但到了后面工具类越来越乱,有些项目工具类有几十个,看的眼花缭乱,还有不少重复。如何编写出好的工具类,我...

    lyb-geek
  • 程序员你为什么这么累【续】:编码习惯之工具类规范

    一个项目不可能没有工具类,工具类的初衷是良好的,代码重用,但到了后面工具类越来越乱,有些项目工具类有几十个,看的眼花缭乱,还有不少重复。如何编写出好的工具类,我...

    程序猿DD
  • Qt编写安防视频监控系统28-摄像机点位

    摄像机点位的功能主要是在图片地图和在线离线地图上设置对应摄像机的位置,然后双击可以实时预览对应摄像机的视频,在图片地图上拖动摄像机图标到对应位置,系统会自动保存...

    feiyangqingyun
  • 【学习】深度解析中文分词器算法(最大正向/逆向匹配)

    中文分词算法概述: 1:非基于词典的分词(人工智能领域) 相当于人工智能领域计算。一般用于机器学习,特定领域等方法,这种在特定领域的分词可以让计算机在...

    小莹莹
  • SpringBoot系列教程Web篇之开启GZIP数据压缩

    分享一个真实案例,我们的服务部署在海外,国内访问时访问服务时,响应有点夸张;某些返回数据比较大的接口,耗时在 600ms+上,然而我们的服务 rt 却是在 20...

    一灰灰blog

扫码关注云+社区

领取腾讯云代金券