中文分词利器-jieba

小闫同学啊

发布于 2019-07-18 15:47:10

1.1K0

发布于 2019-07-18 15:47:10

文章被收录于专栏：小闫笔记

正文共：2519 字 5 图预计阅读时间：7 分钟

每日分享

Believe in your infinite potential. Your only limitations are those you set upon yourself.

相信你的无限潜力。你唯一的局限是你自己设定的。

小闫语录：

每个人的潜力无穷无尽，限制其开发的便是你潜在的想法，比如我不行、太难了、我太笨了......不自我设限，是你开发潜力的第一步。相信自己，加油。

jieba

jieba，你可以叫它『结巴』，事实上，官方的文档上就是这样介绍的。它是Python最好用的一款中文分词组件之一。

划重点：中文，只对中文有效。

它可以用来做什么呢？简单的说就是分词，貌似解释清楚了，实际上还差点火候。给大家举一个例子：百度、淘宝等的搜索，你输入一句话，它会将所有相关的内容都查找，然后列举出来。

比如，我输入『最近的火锅店在哪里？』，搜索出来匹配的字段会进行标红，有『火锅』这个词相关的内容，有『最近』这个关键字的内容，甚至还有『在哪里』这个关键字的内容。其中涉及到的将一句话中的所有关键字切分出来，这就是分词。

中文作为一门有悠久历史的语言，其文化之丰富，底蕴之深厚可想而知。英文的分词，可以通过以空格切分实现，中文就麻烦了。

麻烦在中文所有的词挨在一起，组成一句话。怎么分？比如：我家的大黄喜欢吃屎。『我』可以是一个词，『我家』也可以是一个词，『我家的』更是一个词，人分都麻烦，机器更傻。为了解决这个问题，有大神创建了这个库，我们直接使用即可。

此人之伟大，此工具之牛x，无以言表。好了，接下来讲使用。

1.安装

直接通过pip命令安装即可：

pip install jieba

2.使用

第一步是导入：

import jieba

第二步使用，我们根据官方示例为大家进行讲解。

2.1全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

运行结果：

【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

大家通过示例可以看到，全模式是将句子中所有的可以成词的词语都扫描出来, 速度非常快，但是有一个问题，就是不能解决歧义。

从代码层面，例子中用到了 jieba.cut方法，其中涉及到两个常用的参数，一个是 需要分词的字符串，另一个是 cut_all（这个参数控制的就是是否采用全模式，示例中为True，表示采用）。

2.2精确模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

运行结果：

【精确模式】: 我/ 来到/ 北京/ 清华大学

与全模式进行对比，是否看出，其更加准确了呢？精确模式就是试图将句子最精确地切开，适合文本分析。一般我们对文本操作，都使用此模式，此模式还是默认模式。也就是说：你不指定的情况下，就是精确模式。如下代码：

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print(", ".join(seg_list))

运行结果：

【新词识别】：他, 来到, 了, 网易, 杭研, 大厦    (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)

可以看到，我们没有设置 cut_all这个参数，任然得到了想要的精确模式结果。其中有一个注意点，便是新词的问题。因为中文复杂，每天都在创造一些新词，官方库不可能一一收录，那么怎么办呢？一种办法是不作处理，因为官方的算法已经很厉害，可以识别一些新词。如果你觉得不满意，可以采用另一种办法，就是给词库中扩充新词。用法就是：

 jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径

词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。 file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。
词频省略时使用自动计算的能保证分出该词的词频。

例如：

创新办 3 i
云计算 5
凱特琳 nz
台中

这一块内容，常人涉及不到，此处不过多阐述，如果有兴趣，可参考官方文档：结巴中文分词

2.3搜索引擎模式

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式
print(", ".join(seg_list))

运行结果：

【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

其中涉及到一个方法 jieba.cut_for_search，这个方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细。

2.4方法说明（官方说明）

待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用 jieba.lcut 以及 jieba.lcut_for_search 直接返回 list。
jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。 jieba.dt为默认分词器，所有全局分词相关函数都是该分词器的映射。