这世界变化快。
去年10月,Google团队发布BERT模型横扫一切,在11种不同NLP测试中创出最佳成绩。现在,轮到BERT被碾压了。
CMU和Google Brain团队最新发布的XLNet,在20项任务上超过了BERT的表现,包括SQuAD、GLUE、RACE等等。
这个消息一出,业界又轰动了。
目前这个模型的的论文、代码和预训练模型都已经放出。
XLNet的共同一作,是本科都毕业于清华的Zhilin Yang(杨植麟)和Zihang Dai,目前两人都在CMU读博。
为什么XLNet能够横扫BERT?
作者在这篇论文中表示,BERT在训练时需要mask一些输入,忽略了被遮蔽位置之间的依赖关系,因此产生预训练-微调差异。
而这次提出的XLNet,是一种泛化的自回归预训练模型。一方面,XLNet通过通过最大化所有可能因式分解顺序的对数似然,学习双向上下文;另一方面,利用自回归来客服BERT的缺点。此外,XLNet还在预训练中借鉴了最先进自回归模型Transformer-XL的想法。
最终的测试表明,XLNet在20个任务上的表现优于BERT,而且通常是大幅提升;在18个任务上,获得了最高水平的结果,包括机器问答、自然语言推理、情感分析和文档排序等。
一大批用户在推特上表示了震惊。
“我还以为NLP已经被BERT和ULMFiT解决了”,一位用户发了个哭脸评论道。
这篇论文的作者大牛云集,除了开头提到的两位共同一作,还包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov,以及来自Google Brain团队的大牛Quoc V. Le。
最后送上传送门。
论文地址在此:
https://arxiv.org/abs/1906.08237
GitHub地址在此:
https://github.com/zihangdai/xlnet
— 完 —