专栏首页量子位GitHub万星NLP资源大升级:实现Pytorch和TF深度互操作,集成32个最新预训练模型

GitHub万星NLP资源大升级:实现Pytorch和TF深度互操作,集成32个最新预训练模型

乾明 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI

GitHub上最火的NLP项目,标星13000+,现在迎来重大更新。

刚刚, 抱抱脸(Hugging Face)团队,放出了transformers 2.0版本。

一方面,实现了TensorFlow 2.0和 PyTorch 之间的深度互操作性。

你可以在TPU上训练模型,然后再Pytorch上测试,最后通过TensorFlow部署。

另一方面,也集成了超过32个经过100多种语言预训练的模型。最新的NLP架构,比如BERT、GPT-2、XLNet、RoBERTa、DistilBert、XLM等等通通在内。

更新放出之后,业内人士纷纷送上各种感叹:

This is so cool! Good job!、That’s awesome、Hot damn this is amazing!、Jesus christ.

transformers 2.0,最全的NLP库

更直接一点说,transformers 2.0项目,就是一个NLP领域的SOTA的集合。

SQuAD排行榜上的选手们通通收编在内,一共有8大架构可供调用:

BERT、XLNet这几位重量级选手自不必说。

最新鲜的RoBERTa、GPT-2 774M版本都已更新在列。

还有两个XLM架构,它们在XNLI跨语言分类任务中拥有比多语言BERT更优秀的表现。

此外,还有抱抱脸自家的DistilBERT,这是一个更小、更快、更便宜、更轻量级的BERT蒸馏版。

七月底刚把BERT拉回GLUE榜首的RoBERTa也几乎是在第一时间被整合到了pytorch-transformers库中。

所有这些架构,都已经在SQuAD数据集上进行了测试,均与原始实现的性能相匹配。

在这些架构之下,一共有超过32个经过100多种语言预训练的模型。

使用起来也非常方便,只需一个API,就能调用。

在线Demo,当场试用

NLP界的超强模型们到底有什么高招?抱抱脸也在官网上搭建了Write With Transformer,真·AI帮你在线写论文,在线编故事。

不过,在线服务的模型只有GPT,GPT-2和XLNet。

想要完整使用整个Transformer库,安装也并不困难。

官方提供的repo已经在Python 2.7和3.5+、PyTorch 1.0.0+、TensorFlow 2.0.0-rc1中进行了测试。

在安装了TensorFlow 2.0和/或PyTorch之后,可以通过pip安装:

pip install transformers

然后把库克隆到本地:

pip install [—editable] .

样本测试则可以在pytest上运行:

python -m pytest -sv ./transformers/tests/ python -m pytest -sv ./examples/

甚至,你还可以在移动设备上运行这些模型,repo地址:

https://github.com/huggingface/swift-coreml-transformers

从pytorch-transformers到transformers

这一项目,一开始名为pytorch-pretrained-bert,在1.2版本时更名为pytorch-transformers,现在变为transformers。

从名字的变迁中,也能够看出它的功能也越来越强大。在2.0版本中,实现了TensorFlow 2.0和 PyTorch 之间的深度互操作性,这也可能是在名字中去掉“pytorch-”的直接原因。

在GitHub项目中,他们也当场演示了如何用12行代码训练TensorFlow 2.0模型,然后将其放到PyTorch进行快速检测和测试:

当然,这一库还有更多强大的功能等待你发掘,如果你是NLP领域的从业者或者研究者,千万不要错过。

项目链接:

https://github.com/huggingface/transformers

关于抱抱脸

虽然看上去很萌,但Hugging Face可不是兴趣小团体,而是个正经的AI创业公司。

他们的目标是建设真正的社会人工智能,并在这一过程中不断贡献技术力量。在NLP领域,他们的论文登上过ICLR,NeurIPS ,AAAI等国际顶会。

而他们在transformers这个广受欢迎的项目上付出的持续努力,正是其坚持的体现,而且也已经赢得了广泛的声誉。

在看到transformers 2.0项目更新的时候,就有网友评论称:

每次我听到 Huggingface,就好像看到“悟空”(龙珠)从训练营回来后的行动一样。每个人都对他们的进步感到敬畏和难以置信。

本文分享自微信公众号 - 量子位(QbitAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 机器推理系列文章概览:七大NLP任务最新方法与进展

    编者按:自然语言处理的发展进化带来了新的热潮与研究问题,研究者们在许多不同的任务中推动机器推理(Machine Reasoning)能力的提升。基于一系列领先的...

    AI科技评论
  • ​写论文摘要很痛苦?一键生成神器了解一下

    摘要:我们展示了一个方法来产出长文稿的抽象摘要……(以下省略200字)…注:以上的摘要都不是作者自己写的,而是用本论文里描述的模型生成的 。

    统计学家
  • 词转化为词向量

    2013年末,谷歌发布了word2vec工具,引起了热捧,大家几乎都认为它是深度学习在NLP的一项了不起的应用,并且很多互联网公司也开始跟进,使用word2ve...

    opprash
  • 从NLP终生学习开始,谈谈深度学习中记忆结构的设计和使用

    终生学习,简单说是让模型有能力持续地学习新的信息,但更重要的是让模型学习新信息的同时还不要完全忘记以往学习过的内容(避免「灾难性遗忘」),是深度学习的长期发展和...

    AI科技评论
  • BERT, RoBERTa, DistilBERT, XLNet的用法对比

    导读:BERT, RoBERTa, DistilBERT, XLNet到底哪家强?在不同的研究领域和应用场景如何选择成了大难题。凡事莫慌,这篇文章帮你理清思路。

    AI科技评论
  • 【Github】ML-NLP:机器学习、NLP面试中常考到的知识点和代码实现

    此项目是机器学习(Machine Learning)、深度学习(Deep Learning)、NLP面试中常考到的知识点和代码实现,也是作为一个算法工程师必会的...

    代码医生工作室
  • 机器推理系列文章概览:七大NLP任务最新方法与进展

    导读:自然语言处理的发展进化带来了新的热潮与研究问题,研究者们在许多不同的任务中推动机器推理(Machine Reasoning)能力的提升。基于一系列领先的科...

    AI科技大本营
  • AI攒论文指日可待?Transformer生成论文摘要方法已出

    译文:「我们提出了一种通过神经摘要为超过数千词的长文本生成抽象摘要的方法。我们先在生成摘要之前执行一个简单的抽取步骤,然后再将其用于在相关信息上调整 trans...

    机器之心
  • 要啥给啥的写作AI:新闻评论小说都能编,题材风格随便选,真假难辨,16亿参数模型已开源

    这里“一模”,自然是OpenAI横空出世的GPT-2。但今日更秀的另一模型,来自Salesforce——全球最大的SaaS提供商,虽然之前AI能力展露不多,但这...

    量子位
  • 手把手教你用飞桨做词向量模型 SkipGram

    在做 NLP 的任务时,一个非常 basic 的操作就是如何编码自然语言中的符号,例如词、短语,甚至词缀。目前流行的方法有大约三种:

    用户1386409

扫码关注云+社区

领取腾讯云代金券