来源 | 量子位(QbitAI)
作者 | 鱼羊、发自、凹非寺
模型涵盖 140 种不同语言组合,中文翻英文,英文译法语,法语翻阿拉伯语……还能一对多翻译。
就像这样:
抱抱脸创始人 Clement Delangue 表示:
全世界有那么多人在使用我们的开源项目,越来越多使用不同语言的人聚集在NLP社区。 这让我们意识到,应该在模型中提供更多其他语言的接入,同时也提供翻译。
1008种机器翻译模型
据抱抱脸介绍,这1000+模型,是研究人员使用无监督学习和OPUS数据集训练的。
OPUS 项目来自赫尔辛基大学及其全球合作伙伴,旨在收集和开源各种语言数据集,尤其是低资源(小语种)语言数据集。
并且,抱抱脸也在 Transformer 项目中增加了喜闻乐见的 Seq2Seq 模型。
比如谷歌 AI 的T5,Facebook 的BART。
使用方法,一如既往的简单。
比如用opus-mt-en-ROMANCE这个模型同时进行英语翻法语、英语翻葡萄牙语和英语翻西班牙语,一个 API 就搞定了。
就有网友评价道:节约时间的利器。
关于 Hugging Face Transformer
抱抱脸的 Transformer Python 库目前已有超过 50 万 pip 安装量,SQuAD排行榜上的最佳语言模型们通通被收编其中。
比如谷歌 AI 的 BERT、XLNet,Facebook AI 的 RoBERTa,OpenAI 的 GPT-2。
使用简单,只需一个 import。
支持 TensorFlow 2.0 和 PyTorch 之间的深度互操作。
还有在线 Demo 供你实时调戏。
这样的万星项目,NLPer 用了都说好。
这就用起来?
传送门
GitHub 项目: https://github.com/huggingface/transformers
- End -