GitHub标星3600：最会编故事的OpenAI语言模型，现已加入PyTorch BERT豪华阵容

独角栗 发自 凹非寺 量子位 报道 | 公众号 QbitAI

△ 左为GPT-2，右为BERT

上周，OpenAI脑洞天大的语言模型GPT-2，用独角兽的故事震精了世界。

谷歌BERT“史上最强”的位子没坐多久，便有了光芒万丈的后辈。

如今，那个帮BERT做了PyTorch实现的团队，已经火速在BERT项目里增加了GPT-2支持，并收到了推特用户的盛赞。

看来，就算GPT-2只开源了缩小版，也值得珍惜，毕竟是有1.17亿个参数的模型。

都到碗里来

十几个小时前，名叫HuggingFace (抱抱脸) 的团队，发布了Pytorch-bert v0.6更新。

这次更新的内容，就是增加了GPT-2缩小版的预训练模型，以及与模型搭配的常用脚本示例。

不过，为OpenAI家的语言模型添加支持，在Pytorch-bert项目里，已经不是第一次了：

一周前发布的v0.5，就增加了GPT，那是GPT-2的上一代。

同时增加的，还有谷歌的Transformer-XL，那是1月中旬发布的语言模型，可以理解超长的上下文关系，比普通Transformer快1800多倍。

也就是说，地球上知名NLP模型的PyTorch实现，正在项目里面不断集结，场面一派祥和。

这个学名叫pytorch-pretrained-BERT的项目，已在GitHub上收集了3600多颗星。

当然，项目的主业还是BERT，有三个BERT模型提供：

第一个是原味BERT，第二个是带序列分类器的BERT，第三个是带token分类器的BERT (用来做问答) 。

来吧，抱抱脸

HuggingFace (“抱抱脸”) 团队原本就是做聊天机器人的，所以主要的贡献也在自然语言处理 (NLP) 领域。

除了BERT的PyTorch实现之外，团队还发布过许多其他的源代码和友善的教程，也都是基于PyTorch。

比如，教你给NLP任务加速100倍： https://medium.com/huggingface/100-times-faster-natural-language-processing-in-python-ee32033bdced

用PyTorch实现了从语言中识别情绪的DeepMoji模型： https://github.com/huggingface/torchMoji

还用PyTorch实现了OpenAI优化过的Transformer模型： https://github.com/huggingface/pytorch-openai-transformer-lm

所以，发生了GPT-2这样的重大进展，“抱抱脸”自然是及时响应了。

管他OpenAI敢不敢开源15亿参数的完整模型，管他要不要改名ClosedAI呢。

Pytorch-bert传送门，GPT-2已加入： https://github.com/huggingface/pytorch-pretrained-BERT

作者系网易新闻·网易号“各有态度”签约作者

— 完 —