专栏首页数说工作室GitHub超9千星:一个API调用27个NLP预训练模型:BERT、GPT-2全囊括

GitHub超9千星:一个API调用27个NLP预训练模型:BERT、GPT-2全囊括

只需一个API,就能调用BERT、XLM等多种语言模型,逆天的GPT-2也一样轻松到碗里来,这样的模型库你是否期待?

现在,真的有人完成了这一惊人工作,推出了堪称最先进的自然语言处理预训练模型库。

六种架构,27个预训练模型,简单易用,鹅妹子嘤。

其名为Pytorch-Transformers 1.0

登场数小时,获赞1000+,网友忍不住惊叹:这简直就是上帝的工作。

Pytorch-Transformers 1.0

从模型分析到生产加速,对自然语言处理研究人员来说,简直是一库在手,天下我有。

目前这个库中包含PyTorch实现,预训练模型权重,数据集和六个模型的转换工具。

六种NLP模型

库中囊括了现在自然语言处理(NLP)领域最常用的六种模型:

  • BERT
  • GPT
  • GPT-2
  • Transformer-XL
  • XLNet
  • XLM

这些实现已经在GLUE、SQuAD上进行了测试,基本能与原始实现的性能相匹配。

BERT原始实现性能
Pytorch-Transformers 1.0中BERT实现性能

27个预训练模型

快速上手

这么强大的工具,上手也很简单。

作者已经在Python 2.7和 3.5+上进行过测试,PyTorch的版本则是 0.4.1到 1.1.0。

首先pip一下:

pip install pytorch-transformers

克隆储存库并运行:

pip install [--editable] .

可以用pytest进行一些测试:

python -m pytest -sv ./pytorch_transformers/tests/
python -m pytest -sv ./examples/

接着,就可以看一下快速入门示例了。

BERT

首先,使用BertTokenizer从文本字符串中准备一个标记化的输入:

使用BertModel在隐藏状态下编码输入:

用BertForMaskedLM预测masked token:

OpenAI GPT-2

准备输入:

预测下一句:

就像这样,每一个模型都有相应的示例,可以在文档中查看详情。

不懂法律的物理学博士不是好工程师

Pytorch-Transformers 1.0的作者小哥是一位真正的跨界人才。

10岁学编程,大学却入了物理坑。

第一份工作是在劳伦斯伯克利国家实验室的BELLA中心研究激光等离子体相互作用。

被麻省理工录取为博士研究生,最后在索邦大学和ESPCI(巴黎高等物理化工学院)拿到了量子物理学博士学位。

在这之后,他又转行去知识产权律师事务所当起了欧洲专利律师。

现在,他在创业公司Huggingface Inc. 领导一支科学团队,致力于自然语言生成和自然语言理解领域。

真乃神人也。

传送门

开源地址: https://github.com/huggingface/pytorch-transformers

教程文档: https://huggingface.co/pytorch-transformers/quickstart.html#documentation

本文分享自微信公众号 - 数说工作室(shushuojun)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-07-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【SAS Says】基础篇:ODS的使用(下)

    特别说明:本节【SAS Says】基础篇:SAS软件入门(下),用的是数说君学习《The little SAS book》时的中文笔记,我们认为这是打基础的最好...

    数说君
  • 【SAS Says】扩展篇:IML(3):条件与循环

    这是一段“资产收益率情景到评级情景的映射”的SAS程序,出自《金融计算与建模》(朱世武,282页): ? 代码中既用到了循环语句(do .. to ..),也...

    数说君
  • 【SAS Says】基础篇:描述性分析(上)

    特别说明:本节【SAS Says】基础篇:描述性分析(上),用的是数说君学习《The little SAS book》时的中文笔记,我们认为这是打基础的最好选择...

    数说君
  • 一个API调用27个NLP预训练模型:BERT、GPT-2全囊括,像导入NumPy一样容易

    只需一个API,就能调用BERT、XLM等多种语言模型,逆天的GPT-2也一样轻松到碗里来,这样的模型库你是否期待?

    量子位
  • GCAC21 6.4 Prefix-free PRFs for long messages

    6.4 Prefix-free PRFs for long messages长消息的无前缀PRF

    安包
  • 腾讯云-Istio案例分析: 业务pod连接数据库超时

    进入到容器中通过命令去测试是可以直接连上, 通过entrypoint 挂载命令连接失败,用户是用了istio作为服务治理

    朱瑞卿
  • Python基础语法-内置数据结构之列表

    列表特性总结 列表的一些特点: 列表是最常用的线性数据结构 list是一系列元素的有序组合 list是可变的 列表的操作, 增:append、extend、in...

    1846122963
  • Python 3 入门,看这篇就够了

    链接:https://shockerli.net/post/python-study-note/

    华章科技
  • [白话解析] 深入浅出 极大似然估计 & 极大后验概率估计

    本文在少用数学公式的情况下,尽量仅依靠感性直觉的思考来讲解 极大似然估计 & 极大后验概率估计,并且从名著中找了几个实例给大家看看这两种估计如何应用 & 其非常...

    罗西的思考
  • python识别网站所用技术

      最近在学习一些python爬虫,我们要爬取一个站点,首先要去查看网站的robots协议,如果明确禁止抓取了要遵守,否则可能会带来麻烦。第二步我们要知道网站是...

    ytkah

扫码关注云+社区

领取腾讯云代金券