pyltp的使用教程

1 LTP 简介

LTP提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。从应用角度来看,LTP为用户提供了下列组件:

针对单一自然语言处理任务,生成统计机器学习模型的工具 针对单一自然语言处理任务,调用模型进行分析的编程接口 使用流水线方式将各个分析工具结合起来,形成一套统一的中文自然语言处理系统 系统可调用的,用于中文语言处理的模型文件 针对单一自然语言处理任务,基于云端的编程接口

官网在这:http://ltp.ai/

语义角色分析

2 pyltp 简介

pyltp 是 LTP 的 Python 封装,提供了分词,词性标注,命名实体识别,依存句法分析,语义角色标注的功能。

github网址:https://github.com/HIT-SCIR/pyltp 在线文档:https://pyltp.readthedocs.io/zh_CN/latest/api.html

3 pyltp 安装步骤

  • 第一步,安装 pyltp 使用 pip 安装 $ pip install pyltp 或从源代码安装 $ git clone https://github.com/HIT-SCIR/pyltp $ git submodule init $ git submodule update $ python setup.py install # Mac系统出现版本问题使用 MACOSX_DEPLOYMENT_TARGET=10.7 python setup.py install
  • 第二步,下载模型文件 七牛云,当前模型版本 3.4.0,(下面代码里会介绍如何使用模型) 百度云,这里有各个版本的

我最开始在自己电脑(windows)上安装不上,主要有以下错误:

  • vc++ 14 找不到:到这里下载 Visual C++ 2015 Build Tools 安装重启电脑即可
  • 安装的过程提示 winerror32:文件找不到:

安装wheel 下面两个文件针对不同的python版本下载一个即可 pyltp-0.2.1-cp35-cp35m-win_amd64.whl pyltp-0.2.1-cp36-cp36m-win_amd64.whl https://download.csdn.net/download/qq_22521211/10460778 可下载

4 基本组件使用

4.1 分句

from pyltp import SentenceSplitter
sents = SentenceSplitter.split('元芳你怎么看?我就趴窗口上看呗!')  # 分句
print('\n'.join(sents))

输出:

元芳你怎么看?
我就趴窗口上看呗!

4.2 分词

import os
from pyltp import Segmentor
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0'
cws_model_path=os.path.join(LTP_DATA_DIR,'cws.model')
segmentor=Segmentor()
segmentor.load(cws_model_path)
words=segmentor.segment('熊高雄你吃饭了吗')
print(type(words))
print('\t'.join(words))
segmentor.release()

输出

熊高雄 你   吃饭  了   吗

4.3 使用自定义词典

lexicon文件如下:

import os
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径,模型名称为`cws.model`

from pyltp import Segmentor
segmentor = Segmentor()  # 初始化实例
segmentor.load_with_lexicon(cws_model_path, 'lexicon') # 加载模型,第二个参数是您的外部词典文件路径
words = segmentor.segment('亚硝酸盐是一种化学物质')
print('\t'.join(words))
segmentor.release()

输出

[INFO] 2018-08-16 19:18:03 loaded 2 lexicon entries
亚硝酸盐        是      一      种      化学    物质

4.4 词性标注

import os
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0'
# ltp模型目录的路径
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model')  # 词性标注模型路径,模型名称为`pos.model`

from pyltp import Postagger
postagger = Postagger() # 初始化实例
postagger.load(pos_model_path)  # 加载模型

words = ['元芳', '你', '怎么', '看']  # 分词结果
postags = postagger.postag(words)  # 词性标注

print('\t'.join(postags))
postagger.release()  # 释放模型

输出如下

nh      r       r       v

4.5 命名实体识别

import os
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0'  # ltp模型目录的路径
ner_model_path = os.path.join(LTP_DATA_DIR, 'ner.model')  # 命名实体识别模型路径,模型名称为`pos.model`

from pyltp import NamedEntityRecognizer
recognizer = NamedEntityRecognizer() # 初始化实例
recognizer.load(ner_model_path)  # 加载模型

words = ['元芳', '你', '怎么', '看']
postags = ['nh', 'r', 'r', 'v']
netags = recognizer.recognize(words, postags)  # 命名实体识别

print('\t'.join(netags))
recognizer.release()  # 释放模型

输出

S-Nh    O   O   O

4.6 依存句法分析

import os
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0'  # ltp模型目录的路径
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model')  # 依存句法分析模型路径,模型名称为`parser.model`

from pyltp import Parser
parser = Parser() # 初始化实例
parser.load(par_model_path)  # 加载模型

words = ['元芳', '你', '怎么', '看']
postags = ['nh', 'r', 'r', 'v']
arcs = parser.parse(words, postags)  # 句法分析

print("\t".join("%d:%s" % (arc.head, arc.relation) for arc in arcs))
parser.release()  # 释放模型

输出为:

4:SBV   4:SBV   4:ADV   0:HED

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏阮一峰的网络日志

带字幕的Youtube

现在有人就制作了一个网站YouTube Subtitle Editor,专门为Youtube加字幕。你可以先看一段动画片《蜘蛛人》的主题歌,体验一下效果。

47820
来自专栏我爱编程

电磁兼容

14440
来自专栏计算机视觉战队

Caffe源码---------主要框架介绍

初学者的我感觉看代码就是一个煎熬啊!但是某人说过一句话:“Don’t be afraid to read the code!”现在我写一下简单的介绍,准备给入门...

36450
来自专栏人工智能

第三课:把tensorflow,模型和测试数据导入Android工程

关于Android项目的创建这里就不做赘述了,我们直接进入主题,看下如何把机器学习库和训练的模型导入一个安卓应用中。 导入 Inference Interfac...

29880
来自专栏Python中文社区

Keras 的 Web 填坑记

博客主页:https://www.zhihu.com/people/tu-dou-dou-27-10

53030
来自专栏祥子的故事

python | pandas 改变列的位置、填充缺失值

46040
来自专栏IT笔记

Dubbo负载均衡配置

在集群负载均衡时,Dubbo提供了多种均衡策略,缺省为random随机调用。 负载均衡扩展 (1) 扩展说明: 从多个服务提者方中选择一个进行调用。 (2) 扩...

52850
来自专栏安恒信息

基于大数据分析的异常检测方法及其思路实例

1 概述 随着人类社会信息化程度的不断深入,信息系统产生的数据也在呈几何级数增长。对这些数据的深入分析可以得到很多有价值的信息。由于数据量太大以及数据属性的多样...

78160
来自专栏数据结构与算法

哈密尔顿环问题

哈密尔顿环   欧拉回路是指不重复地走过所有路径的回路,而哈密尔顿环是指不重复地走过所有的点,并且最后还能回到起点的回路。 1 #include<iostre...

35890
来自专栏杨建荣的学习笔记

海量数据迁移之通过rowid切分大表(r2笔记62天)

在之前的章节中,讨论过了通过 分区+并行等方式来进行超大的表的切分,通过这种方式能够极大的提高数据的平均分布,但是不是最完美的。 比如在数据量再提高几个层次,我...

36380

扫码关注云+社区

领取腾讯云代金券