专栏首页AI小白入门初学者|一文掌握HanLP用法

初学者|一文掌握HanLP用法

点击上方蓝色字体,关注AI小白入门哟

跟着博主的脚步,每天进步一点点

本文简绍了HanLP的使用方法,HanLP是一系列模型与算法组成的NLP工具包,由大快搜索主导并完全开源,目前支持很多功能,项目主要是Java的,也支持python,本文详细简绍pyhanlp的使用方法。

简介

HanLP是由一系列模型与算法组成的工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

HanLP主要功能包括分词、词性标注、关键词提取、自动摘要、依存句法分析、命名实体识别、短语提取、拼音转换、简繁转换等等。

Github地址:https://github.com/hankcs/HanLP

官网:http://hanlp.linrunsoft.com/

实战

1.安装

# 安装:pip install pyhanlp
from pyhanlp import *
Using local c:\users\yuquanle\anaconda3\envs\nlpcoure\lib\site-packages\pyhanlp\static\data-for-1.7.0.zip, ignore http://hanlp.linrunsoft.com/release/data-for-1.7.0.zip
Extracting data.zip...

2.分词和词性标注

sentence = "我爱自然语言处理技术!"
s_hanlp = HanLP.segment(sentence)
for term in s_hanlp:
    print(term.word, term.nature)

我 rr
爱 v
自然语言处理 nz
技术 n
!w

3.依存句法分析

s_dep = HanLP.parseDependency(sentence)
print(s_dep)

1   我   我   r   r   _   2   主谓关系    _   _
2   爱   爱   v   v   _   0   核心关系    _   _
3   自然语言处理  自然语言处理  v   v   _   4   定中关系    _   _
4   技术  技术  n   n   _   2   动宾关系    _   _
5   !!wp  w   _   2   标点符号    _   _

4.关键词提取

document = u'''
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。
它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,
所以它与语言学的研究有着密切的联系,但又有重要的区别。
自然语言处理并不是一般地研究自然语言,
而在于研制能有效地实现自然语言通信的计算机系统,
特别是其中的软件系统。因而它是计算机科学的一部分。
'''
doc_keyword = HanLP.extractKeyword(document, 3)
for word in doc_keyword:
    print(word)

研究
自然语言
自然语言处理

5.摘要提取

doc_keysentence = HanLP.extractSummary(document, 3)
for key_sentence in doc_keysentence:
    print(key_sentence)

自然语言处理并不是一般地研究自然语言
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向
它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法

6.感知机词法分析器

PerceptronLexicalAnalyzer = JClass('com.hankcs.hanlp.model.perceptron.PerceptronLexicalAnalyzer')
analyzer = PerceptronLexicalAnalyzer()
print(analyzer.analyze("上海华安工业(集团)公司董事长谭旭光和秘书胡花蕊来到美国纽约现代艺术博物馆参观"))

[上海/ns 华安/nz 工业/n (/w 集团/n )/w 公司/n]/nt 董事长/n 谭旭光/nr 和/c 秘书/n 胡花蕊/nr 来到/v [美国纽约/ns 现代/ntc 艺术/n 博物馆/n]/ns 参观/v

7.中国人名识别

NER = HanLP.newSegment().enableNameRecognize(True)
p_name = NER.seg('王国强、高峰、汪洋、张朝阳光着头、韩寒、小四')
print(p_name)

[王国强/nr, 、/w, 高峰/n, 、/w, 汪洋/n, 、/w, 张朝阳/nr, 光着头/l, 、/w, 韩寒/nr, 、/w, 小/a, 四/m]

8.音译人名识别

sentence = '微软的比尔盖茨、Facebook的扎克伯格跟桑德博格、亚马逊的贝索斯、苹果的库克,这些硅谷的科技人'
person_ner = HanLP.newSegment().enableTranslatedNameRecognize(True)
p_name = person_ner.seg(sentence)
print(p_name)

[微软/ntc, 的/ude1, 比尔盖茨/nrf, 、/w, Facebook/nx, 的/ude1, 扎克伯格/nrf, 跟/p, 桑德博格/nrf, 、/w, 亚马逊/nrf, 的/ude1, 贝索斯/nrf, 、/w, 苹果/nf, 的/ude1, 库克/nrf, ,/w, 这些/rz, 硅谷/ns, 的/ude1, 科技/n, 人/n]

9.短语提取

phraseList = HanLP.extractPhrase(document, 3)
print(phraseList)

[计算机科学, 中的重要, 之间自然语言]

10.拼音转换

s = '重载不是重任'
pinyinList = HanLP.convertToPinyinList(s)
for pinyin in pinyinList:
    print(pinyin.getPinyinWithoutTone(),pinyin.getTone(), pinyin, pinyin.getPinyinWithToneMark())

chong 2 chong2 chóng
zai 3 zai3 zǎi
bu 2 bu2 bú
shi 4 shi4 shì
zhong 4 zhong4 zhòng
ren 4 ren4 rèn

# 声母、韵母
for pinyin in pinyinList:
    print(pinyin.getShengmu(), pinyin.getYunmu())

ch ong
z ai
b u
sh i
zh ong
r en

11.繁简转换

Jianti = HanLP.convertToSimplifiedChinese("我愛自然語言處理技術!")
Fanti = HanLP.convertToTraditionalChinese("我爱自然语言处理技术!")
print(Jianti)
print(Fanti)

我爱自然语言处理技术!
我愛自然語言處理技術!

代码已上传:

https://github.com/yuquanle/StudyForNLP/blob/master/NLPtools/HanLPDemo.ipynb

The End

本文分享自微信公众号 - AI小白入门(StudyForAI),作者:yuquanle

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-04-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 初学者|NLP相关任务简介

    本文根据自己的学习以及查阅相关资料的理解总结,简要的介绍一下自然语言处理(nlp)一些相关技术以及相关任务,nlp技术包括基础技术和应用技术。后续会抽空继续分专...

    yuquanle
  • 一天快速入门python

    Python 是由Guido Van Rossum在 90 年代早期设计,现在是最常用的编程语言之一。特别是人工智能的火热,再加之它的语法简洁且优美,实乃初学者...

    yuquanle
  • 【干货】NumPy入门深度好文 (上篇)

    Numpy 是 Python 专门处理高维数组 (high dimensional array) 的计算的包,每次使用它遇到问题都会它的官网 (www.nump...

    yuquanle
  • 初学者|一文掌握HanLP用法

    本文简绍了HanLP的使用方法,HanLP是一系列模型与算法组成的NLP工具包,由大快搜索主导并完全开源,目前支持很多功能,项目主要是Java的,也支持pyth...

    AiTechYun
  • Python的“仁慈独裁者”累觉不爱,宣布退位

    量子位
  • odata.publish = true的CDS view激活之后,后台发生了什么事情

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-r7bqbdIY-1584083164248)(https://upload-im...

    Jerry Wang
  • SAP document builder功能一览

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sWlI7308-1583500919266)(https://upload-im...

    Jerry Wang
  • 如何使用新浪微博相册作为markdown的图床

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OURv71cQ-1580301481794)(https://upload-im...

    Jerry Wang
  • Python之父二三事

    我以前提到过Guido van Rossum,Python之父,就是他用一部英国喜剧《蒙提·派森的飞行马戏团》(Monty Python and the Fly...

    Crossin先生
  • 循环、递归与魔术(一)——递归与循环的数理逻辑

    今天我们开启一段新的旅程,聊聊循环(circulation)和递归(recursion)背后的数理逻辑以及艺术应用。

    magic2728

扫码关注云+社区

领取腾讯云代金券