专栏首页量子位一个API调用27个NLP预训练模型:BERT、GPT-2全囊括,像导入NumPy一样容易

一个API调用27个NLP预训练模型:BERT、GPT-2全囊括,像导入NumPy一样容易

鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI

只需一个API,就能调用BERT、XLM等多种语言模型,逆天的GPT-2也一样轻松到碗里来,这样的模型库你是否期待?

现在,真的有人完成了这一惊人工作,推出了堪称最先进的自然语言处理预训练模型库。

六种架构,27个预训练模型,简单易用,鹅妹子嘤。

其名为Pytorch-Transformers 1.0

登场数小时,获赞1000+,网友忍不住惊叹:这简直就是上帝的工作。

Pytorch-Transformers 1.0

从模型分析到生产加速,对自然语言处理研究人员来说,简直是一库在手,天下我有。

目前这个库中包含PyTorch实现,预训练模型权重,数据集和六个模型的转换工具。

六种NLP模型

库中囊括了现在自然语言处理(NLP)领域最常用的六种模型:

  • BERT
  • GPT
  • GPT-2
  • Transformer-XL
  • XLNet
  • XLM

这些实现已经在GLUE、SQuAD上进行了测试,基本能与原始实现的性能相匹配。

BERT原始实现性能
Pytorch-Transformers 1.0中BERT实现性能

27个预训练模型

快速上手

这么强大的工具,上手也很简单。

作者已经在Python 2.7和 3.5+上进行过测试,PyTorch的版本则是 0.4.1到 1.1.0。

首先pip一下:

pip install pytorch-transformers

克隆储存库并运行:

pip install [--editable] .

可以用pytest进行一些测试:

python -m pytest -sv ./pytorch_transformers/tests/
python -m pytest -sv ./examples/

接着,就可以看一下快速入门示例了。

BERT

首先,使用BertTokenizer从文本字符串中准备一个标记化的输入:

使用BertModel在隐藏状态下编码输入:

用BertForMaskedLM预测masked token:

OpenAI GPT-2

准备输入:

预测下一句:

就像这样,每一个模型都有相应的示例,可以在文档中查看详情。

不懂法律的物理学博士不是好工程师

Pytorch-Transformers 1.0的作者小哥是一位真正的跨界人才。

10岁学编程,大学却入了物理坑。

第一份工作是在劳伦斯伯克利国家实验室的BELLA中心研究激光等离子体相互作用。

被麻省理工录取为博士研究生,最后在索邦大学和ESPCI(巴黎高等物理化工学院)拿到了量子物理学博士学位。

在这之后,他又转行去知识产权律师事务所当起了欧洲专利律师。

现在,他在创业公司Huggingface Inc. 领导一支科学团队,致力于自然语言生成和自然语言理解领域。

真乃神人也。

传送门

开源地址: https://github.com/huggingface/pytorch-transformers

教程文档: https://huggingface.co/pytorch-transformers/quickstart.html#documentation

本文分享自微信公众号 - 量子位(QbitAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-07-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 《AI 算法工程师手册》正式开源!

    之前我曾在《分享集锦:哈佛 Web 开发教程、HTTP 状态码速学、阿里 AI 算法工程师手册、机器学习书籍》中提及过一本由阿里巴巴工程师撰写的一本算法手册,前...

    GitHubDaily
  • 语音识别技术的相关知识

    语音识别技术,也被称为自动语音识别Automatic Speech Recognition,(ASR),其目标是将人类的语音中的词汇内容转换为计算机可读的输入,...

    用户5777378
  • 微软与美国连锁医院联合建设“未来医院”,将用AI技术帮助医生诊断

    今日消息,据媒体报道微软将与美国连锁医院运营商普罗维登斯-圣约瑟夫医疗集团(以下简称“普罗维登斯)进行合作,双方将建设一家“未来医院”。

    镁客网
  • 【开源公告】NeuralNLP-NeuralClassifier - 深度学习文本分类工具

    NeuralNLP是腾讯广告(Tencent Marketing Solution,TMS)(https://e.qq.com/)数据算法团队搭建的一个基于P...

    腾讯开源
  • 百炼智百炼智能获5000万元Pre-A轮融资,深耕智能获客赛道

    2019年7月9日,百炼智能正式宣布完成5000万元Pre-A轮融资。该轮融资由东方嘉富领投,上市公司任子行、元投资本和酷我音乐创始人雷鸣等投资者跟投。百炼智能...

    AI科技大本营
  • 下一个十年:数据信仰与认知智能

    百分点技术副总裁兼首席架构师刘译璟博士认为,在产业数字化逐步深入的趋势下,以自然语言处理(NLP)、知识图谱为代表的认知智能技术将会以场景为切入点,通过以点带面...

    大数据在线
  • DeepMatrix 2.0发布,百分点要走怎样的认知智能之路?

    如果说感知智能的崛起拉开了人工智能浪潮的新序幕,那么认知智能的突破将意味着人工智能迈上重要的新台阶。

    大数据在线
  • 从发展滞后到不断突破,NLP已成为AI又一燃爆点?

    AI 行业应用是一片新的大陆,深度学习作为新大陆的基石,经历了一轮又一轮突破。过去十年,在计算机视觉、语音识别、棋类 AI 等计算和感知智能技术上,深度学习率先...

    AI科技大本营
  • 一文看尽飞桨PaddlePaddle最新升级:5大优势,更低门槛使用深度学习

    从Paddle Fluid v1.0以来,飞桨致力于打造更好的用户体验,趁着百度开发者大会,也为用户精心准备了一份大礼,在开发、训练及部署全流程上进行了全新升级...

    量子位
  • AI技术的相关知识

    AI(Artificial Intelligence)就是人工智能,它是研究人的智能的,并且进行模拟和延伸的新兴科学技术。

    用户5777378

扫码关注云+社区

领取腾讯云代金券