专栏首页北京马哥教育Python自然语言处理工具小结

Python自然语言处理工具小结

作者:伏草惟存

来源:http://www.cnblogs.com/baiboy/p/nltk2.html

Python 的几个自然语言处理工具

1. NLTK:NLTK 在用 Python 处理自然语言的工具中处于领先的地位。它提供了 WordNet 这种方便处理词汇资源的借口,还有分类、分词、除茎、标注、语法分析、语义推理等类库。

2. Pattern:Pattern 的自然语言处理工具有词性标注工具(Part-Of-Speech Tagger),N元搜索(n-gram search),情感分析(sentiment analysis),WordNet。支持机器学习的向量空间模型,聚类,向量机。

3. TextBlob:TextBlob 是一个处理文本数据的 Python 库。提供了一些简单的api解决一些自然语言处理的任务,例如词性标注、名词短语抽取、情感分析、分类、翻译等等。

4. Gensim:Gensim 提供了对大型语料库的主题建模、文件索引、相似度检索的功能。它可以处理大于RAM内存的数据。作者说它是“实现无干预从纯文本语义建模的最强大、最高效、最无障碍的软件。

5. PyNLPI:它的全称是:Python自然语言处理库(Python Natural Language Processing Library,音发作: pineapple) 这是一个各种自然语言处理任务的集合,PyNLPI可以用来处理N元搜索,计算频率表和分布,建立语言模型。他还可以处理向优先队列这种更加复杂的数据结构,或者像 Beam 搜索这种更加复杂的算法。

6. spaCy:这是一个商业的开源软件。结合Python和Cython,它的自然语言处理能力达到了工业强度。是速度最快,领域内最先进的自然语言处理工具。

7. Polyglot:Polyglot 支持对海量文本和多语言的处理。它支持对165种语言的分词,对196中语言的辨识,40种语言的专有名词识别,16种语言的词性标注,136种语言的情感分析,137种语言的嵌入,135种语言的形态分析,以及69中语言的翻译。

8. MontyLingua:MontyLingua 是一个自由的、训练有素的、端到端的英文处理工具。输入原始英文文本到 MontyLingua ,就会得到这段文本的语义解释。适合用来进行信息检索和提取,问题处理,回答问题等任务。从英文文本中,它能提取出主动宾元组,形容词、名词和动词短语,人名、地名、事件,日期和时间,等语义信息。

9. BLLIP Parser:BLLIP Parser(也叫做Charniak-Johnson parser)是一个集成了产生成分分析和最大熵排序的统计自然语言工具。包括 命令行 和 python接口 。

10. Quepy:Quepy是一个Python框架,提供将自然语言转换成为数据库查询语言。可以轻松地实现不同类型的自然语言和数据库查询语言的转化。所以,通过Quepy,仅仅修改几行代码,就可以实现你自己的自然语言查询数据库系统。GitHub:https://github.com/machinalis/quepy

11. HanNLP:HanLP是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。不仅仅是分词,而是提供词法分析、句法分析、语义理解等完备的功能。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。文档使用操作说明:Python调用自然语言处理包HanLP 和 菜鸟如何调用HanNLP

原文链接:http://www.cnblogs.com/baiboy/p/nltk2.html

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【重磅】3分钟,让你懂得中文自然语言处理(NLP)!!

    好几天没有写关于自然语言处理方面的内容,实在抱歉,不过还是感谢大家支持。今天给大家分享一下关于中文自然语言处理的一些基础知识,希望能够帮你快点“入坑”。...

    ShuYini
  • Adam作者大革新, 联合Hinton等人推出全新优化方法Lookahead

    最优化方法一直主导着模型的学习过程,没有最优化器模型也就没了灵魂。好的最优化方法一直是 ML 社区在积极探索的,它几乎对任何机器学习任务都会有极大的帮助。

    数说君
  • 百度开源自然语言理解模型 ERNIE 2.0,16 个 NLP 任务中碾压 BERT 和 XLNet!

    7 月 30 日,百度发布了 ERNIE(Enhanced Representation through kNowledge IntEgration)的优化版本...

    AI科技评论
  • 重磅!!|“NLP系列教程03”之word2vec 01

    本次文章和上两篇文章完全相反,原来的两篇文章是从一个宏观的角度自上而下的介绍什么是自然语言处理。从本篇文章开始将从语言的最底层开始研究,并开始数学分析。

    ShuYini
  • 《NLP》你真的了解”自然语言处理(NLP)“吗?

    上一周,清华大学AMiner发布了《2018自然语言处理研究报告》(下载地址:https://pan.baidu.com/s/1IXuZLgGVHjfY...

    ShuYini
  • 【说明】| 关于Chromium浏览器的更新......

    实践是检验真理的唯一标准,我国的互联网对于访问国外网站的限制确实很大啊,最近两次关于科学上网的文章都被判断为违规内容,但是也没有办法,还是要尊重国家的法律法规...

    ShuYini
  • 改进版 BERT 打败 XLNet ,Facebook 公布研究细节

    去年 10 月,被誉为「最强 NLP 预训练模型」的 Bert 问世,横扫 11 项 NLP 任务记录。随后问世的 XLNet 打破了这些记录,在 20 项任务...

    AI科技评论
  • 《NLP》AI 对“传统人工客服"的颠覆!!

    近年随着人工智能NLP方向的不断发展,智能客服逐渐代替传统客服将会是一个大的趋势。本文将从智能客服行业概述、智能客服行业发展现状分析、智能客服行业当前面...

    ShuYini
  • 关于跨语种语言模型的讨论

    最近,一个预先训练的模型被证明可以改善下游问题。Lample和Conneau提出了两个新的培训目标来培训跨语言语言模型(XLM)。这种方法可以实现跨语言自然语言...

    AiTechYun
  • 重磅!!|“NLP系列教程01”之自然语言处理概要

    作者出该系列教程的目的是让大家能够掌握深度学习算法在自然语言处理中应用,同时也希望能够加深自己对自然语言处理的理解。

    ShuYini

扫码关注云+社区

领取腾讯云代金券