最佳NLP工具、库和服务推荐

在现代文本数据分析中,NLP 工具和 NLP 库是必不可少的。研究人员和企业使用自然语言处理工具从文本数据分析中提取信息。这种分析包括分析客户反馈、自动化支持系统、改进搜索和推荐算法,以及监控社交媒体。

现在,市面上有很多NLP工具和服务可用,了解它们的特性是获得良好结果的关键。虽然有些工具非常适合小型项目,但也有些工具更适合从事大数据工作的专家,这完全取决于项目本身。

为帮助大家为自己的项目找到完美的解决方案,我们整理汇编了一份最佳 NLP 工具、库和服务的列表。在本文中,你将可以找到免费的开源库、众包解决方案和专门的注释公司。

免费 NLP 工具

  • NTLK:Natural Language Toolkit 是一个用于构建 Python 程序以处理人类语言数据的平台。它包括词法分析、命名实体识别、标记化、词性标注、句法分析和语义推理。它还提供了一些很好的入门资源。但是,由于 NLTK 在处理大数据时会占用大量资源,因此推荐用于简单项目。
  • PyTorch-Transformers:该 NLP库包含了NLP的预训练模型。它具有 PyTorch 实现、预训练的模型权重、使用脚本和转换工具,包括 BERT、GPT-2、Transformer-XL 和 RoBERTa。
  • TextBlob:TextBlob 构建在 NLTK 的基础上,就像是一个扩展,简化了 NLTK 的许多功能,它为任务提供了一个易于理解的界面,包括情感分析、词性标注和名词短语提取等。TextBlob 是一个推荐给初学者的自然语言处理工具,它也具有可扩展性。
  • SpaCy:SpaCy 是一个流畅、快速、高效的开源库,由Cython编写。它具有一个简单的 API、预训练的词向量、11种语言的23个统计模型、用于语法和 NER 的内置可视化工具,它的更新时间表也非常一致。
  • Stanford CoreNLP:CoreNLP 用于对文本片段进行语言分析。它提供了7种语言的支持,可扩展性使其成为一个很好的自然语言处理工具,可用于信息抓取、聊天机器人训练以及文本处理和生成。需要说明的是,它是按照 GNU通用公共许可证 V3 许可的,因此在构建任何专用软件时,都需要商业许可证。
  • Apache OpenNLP:这个由 Java 编写的 NLP 库以其简单性而备受推崇。它包括标记化、句子分割、词性标注、分块、解析和基于感知器的机器学习。然而,Apache 是一个由志愿者开发的项目,因此更新计划是不稳定的。
  • AllenNLP:Allen NLP 是一个基于PyTorch构建的Apache 2.0研究库,是为那些想要快速简单地建立语言分析模型的研究人员提供的。AllenNLP 具有广泛的文本分析选项,它是一个简单的NLP工具,也是可扩展的。
  • GenSim:GenSim 是一个用于自然语言处理的免费 Python 库,是主题建模和文档相似性比较的推荐选项。此外,它还提供了可扩展的统计语义和语义结构分析。GenSim 具有高水平的处理速度和处理大量文本的能力。
  • NLP Architect:NLP Architect 由 Intel AI Lab 开发,是一个开源 Python 库,用于优化 NLP 和探索深度学习拓扑。它旨在使训练和运行模型成为一个简单的过程。

对于业余爱好者、数据研究人员以及有时间在内部执行注释任务的团队来说,上述选项非常适合。但是,如果你的项目时间表比较紧迫且有大数据要处理,那么寻求合格的NLP服务的帮助可能会更简单、更高效。

下面我们整理汇总了四个 NLP 服务列表,以帮助你满足数据分析的需求。

在这些 NLP 服务中,你可以找到可定制的时间表、项目管理帮助、访问专业注释器以及质量保证。

NLP 服务

  • Lionbridge:作为训练数据和数据注释的领先提供商,Lionbridge拥有 500000 名众包专业人员,能够使用 300 多种语言进行工作。他们的定制注释平台使得针对各种用例的数据分析变得容易,并且可以轻松满足特殊的项目需求。Lionbridge 是快速、大规模进行高质量数据注释的理想选择。
  • Amazon Mechanical Turk:AMT 集群是一种廉价、可扩展的 NLP解决方案,用于数据收集和数据标记。由于它们并不提供项目管理、质量保证或定制发票,因此对于那些不需要这些因素的项目来说,AMT 是一个很好的服务。
  • Figure Eight:Figure Eight 现在是 Appen 的子公司,提供了一个机器学习辅助的数据标注平台,能够处理各种 NLP 服务。Figure Eight 很适合创建独特的项目本体。
  • Scale:Scale 提供 NLP 数据注释服务,包括实体注释、OCR 转录、文本分类和情感分析。通过将人工和机器学习的注释实践相结合,它们的分类和内容审核服务是可扩展的。

还是不能确定如何实现文本数据分析解决方案吗?Lionbridge 可以帮助你定义项目目标,然后根据你的特定需求构建和注释定制的数据集。

作者介绍:

Hengtee Lim,是供职于 Lionbridge 营销团队的作家。他是澳大利亚人,现居日本东京。

本文最初发表在 LionBridge 官网,经原作者 Hengtee Lim 授权,InfoQ 中文站翻译并分享。

原文链接:

https://lionbridge.ai/articles/best-nlp-tools-libraries-and-services/

  • 发表于:
  • 本文为 InfoQ 中文站特供稿件
  • 首发地址https://www.infoq.cn/article/qjT6KfacObIXyzQ60NvI
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券