专栏首页AI研习社Github项目推荐 | 用于自然语言处理的开源 Python 库 —— PyTorch-NLP

Github项目推荐 | 用于自然语言处理的开源 Python 库 —— PyTorch-NLP

PyTorch-NLP 是用于自然语言处理的开源 Python 库,它构建于最新的研究之上,可以帮助开发者快速开发原型。PyTorch 带有预训练嵌入(pre-trained embeddings)、采样器、数据集加载器、神经网络模型和文本编码器。

详细信息可访问 PyTorch-NLP 官方网站:

https://pytorchnlp.readthedocs.io/en/latest/

Github 链接:

https://github.com/PetrochukM/PyTorch-NLP

安装

请先安装 Python 3.5+ 和 PyTorch 0.2.0 及以上版本,然后用 pip 安装 PyTorch-NLP:

pip install pytorch-nlp

可选安装

如果您想使用SpaCy <http://spacy.io/> 中的英文标记器,则需要安装 SpaCy 并下载其英文模型:

pip install spacy
python -m spacy download en_core_web_sm

或者,您可能需要使用 NLTK <http://nltk.org/>的 Moses tokenizer。您必须安装NLTK 并下载所需的数据:

pip install nltk
python -m nltk.downloader perluniprops nonbreaking_prefixes

用法

PyTorch-NLP 的设计思想直观并且简单易用:

  • 加载 FastText,Facebook 的快速文本分类器
from torchnlp.embeddings import FastText
vectors = FastText()
vectors['hello']  # [torch.FloatTensor of size 100]
  • 加载数据集,比如 IMBD
from torchnlp.datasets import imdb_dataset
train = imdb_dataset(train=True)
train[0]  # {'text': 'For a movie that gets..', 'sentiment': 'pos'}
  • 用 torchnlp.metrics 计算 BLEU 分数:
from torchnlp.metrics import get_moses_multi_bleu
hypotheses = ["The brown fox jumps over the dog 笑"]
references = ["The quick brown fox jumps over the lazy dog 笑"]
get_moses_multi_bleu(hypotheses, references, lowercase=True)  # 47.9

本文分享自微信公众号 - AI研习社(okweiwu),作者:孔令双

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 哈工大刘挺:哈工大 SCIR 实验室的 NLP 研究 | CCF-GAIR

    雷锋网 AI 研习社按:近期由中国计算机学会(CCF)主办,雷锋网、香港中文大学(深圳)承办的全球人工智能与机器人峰会(CCF-GAIR)将于 6 月底在深圳举...

    AI研习社
  • 问答 | 谷歌 AI 发布 BERT 模型,打破十一项 NLP 记录,会开启 NLP 新时代吗?

    日前,谷歌 AI 团队发布 BERT 模型,在机器阅读理解水平测试 SQuAD1.1 中表现出相当不错的成绩:在 11 项 NLP 任务中刷新当前最优性能记录。...

    AI研习社
  • 上交大卢策吾团队 AlphaPose 更新,顶级性能的实时姿态估计

    AlphaPose 是一个多人姿态估计系统,具有极高的精准度。据卢策吾团队介绍, AlphaPose 在姿态估计(Pose Estimation)标准测试集 M...

    AI研习社
  • Kaggle最流行NLP方法演化史,从词袋到Transformer

    根据语境,此处「it」指代「animal」或「street」。(来源:https://ai.googleblog.com/2017/08/transformer...

    机器之心
  • 【玩转腾讯云】云开发部署VuePress静态博客

    通过 node -v 命令查看本机是否安装,如果没有安装,参考node.js安装指南 根据电脑系统环境进行安装

    城南旧事
  • Apache http server2.4 64位绿色解压版的安装、部署、启动和使用说明

    Java学习123
  • mongodb启动不了:child process failed, exited with error number 100

    今天在启动mongodb的时候,发现起不来,报错:child process failed, exited with error number 100然后先去/...

    拓荒者
  • ubuntu美化

    今天重新安装了ubuntu16.04所以就想美化一下首先就要安装ubuntu的主题了要安装主题就要安装ubuntu-tweak这个工具

    bboysoul
  • Azure Sphere Development Environment Setup

    目前,Visual Studio 2017/2019支持Azure Sphere开发,后续,微软会加入Visual Studio Code的支持。以Vi...

    ShiJiong
  • fuel 9.0 制作本地源、bootstrap以及升级9.2

    tanmx

扫码关注云+社区

领取腾讯云代金券