专栏首页AI小白入门初学者|一步步掌握FoolNLTK

初学者|一步步掌握FoolNLTK

跟着博主的脚步,每天进步一点点

本文介绍了FoolNLTK的使用方法,是一个使用双向 LSTM 构建的便捷的中文处理工具包,该工具不仅可以实现分词、词性标注和命名实体识别,同时还能使用用户自定义字典加强分词的效果。

简介

FoolNLTK是一个使用双向 LSTM 构建的便捷的中文处理工具包,该工具不仅可以实现分词、词性标注和命名实体识别,同时还能使用用户自定义字典加强分词的效果。根据该项目所述,这个中文工具包可能不是最快的开源中文分词,但很可能是最准的开源中文分词。

Github地址:https://github.com/rockyzhengwu/FoolNLTK

实战

1.安装

# 基于神经网络(BiLSTM)训练
# 可能不是最快但是最精确的中文分词工具
# 高精度的分词,词性标注,实体识别
# Java版本:https://github.com/rockyzhengwu/JFoolNLTK
# 我的安装环境:- window10 - python 3.56
# pip install foolnltk -i https://pypi.tuna.tsinghua.edu.cn/simple

2.分词

import fool
sentence = "我爱自然语言处理!"
sen_cut = (fool.cut(sentence))
print(sen_cut)

[['我', '爱', '自然', '语言', '处理', '!']]

3.词性标注

sen_cut = (fool.cut(sentence))
print(fool.pos_cut(sentence))

[[('我', 'r'), ('爱', 'v'), ('自然', 'n'), ('语言', 'n'), ('处理', 'v'), ('!', 'wt')]]

4.命名实体识别

sentence = "我想去北京学习自然语言处理!"
words, ners = fool.analysis(sentence)
print(ners)

[[(3, 6, 'location', '北京')]]

代码已上传:https://github.com/yuquanle/StudyForNLP/blob/master/NLPtools/FoolNLTKDemo.ipynb

The End

本文分享自微信公众号 - AI小白入门(StudyForAI),作者:yuquanle

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【NLP】把BERT的推断速度提升17倍

    微软刚刚开源了Transformer的突破性优化,大大提升了CPU和GPU上的推理速度。

    yuquanle
  • 【DL】深度解析LSTM神经网络的设计原理

    想要搞清楚LSTM中的每个公式的每个细节为什么是这样子设计吗?想知道simple RNN是如何一步步的走向了LSTM吗?觉得LSTM的工作机制看不透?恭喜你打开...

    yuquanle
  • 初学者|一起走进PKUSeg

    本文介绍了PKUSeg的使用方法,它简单易用,支持细分领域分词,有效提升了分词准确度,支持用户自训练模型。支持用户使用全新的标注数据进行训练。

    yuquanle
  • 数据结构-单链表的读取,插入与删除

    链表定义: struct ListNode { int value; ListNode *next; }; 单链表读取 在顺序存储结构中,比如数组中,想...

    chaibubble
  • 【2019年8月】OCP 071认证考试最新版本的考试原题-第29题

    ·MANAGER is an existing role with no privileges or roles.

    用户5892232
  • 基于机器学习的蛋白质亚细胞定位预测

    蛋白质是生命活动的主要承担者,也是组成人体一切细胞、组织的重要成分。研究表明,所有蛋白质有对应的亚细胞器,不同功能的蛋白质只有存在于特定的亚细胞器,才能正常发挥...

    阿凡亮
  • MXNet源码解读笔记1 ---- 如何解析参数文件

    本文主要内容是解读MXNet加载并解析模型参数文件所涉及到的代码,希望读者读完本文能对MXNet参数文件的存储格式有比较清晰的了解,并可以自己来实现参数文件的解...

    BBuf
  • Node.js 框架 express 4.X API 中文手册【express()篇】

    写过 node.js 应用的小伙伴们应该都知道 express 应用框架,它让我们在开发时候的路由设计简化,直接方便我们快速的开发,然而,因为版本更新的太快,导...

    疯狂的技术宅
  • 数据结构【第三篇】线性表之双链表的实现与讲解

    单链表相对于顺序表,确实在某些场景下解决了一些重要的问题,例如在需要插入或者删除大量元素的时候,它并不需要像顺序表一样移动很多元素,只需要修改指针的指向就可以了...

    BWH_Steven
  • 还在用JDK6的同学,来看看JDK13新特性详解吧

    在 JDK 版本的世界里,从来都是 Oracle 发他的新版本,我们继续用我们的老版本。三年之前用 JDK 7,后来终于升级到了

    搜云库技术团队

扫码关注云+社区

领取腾讯云代金券