首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Google AI的ALBERT在多个NLP性能基准测试中

编辑 | TGS

谷歌人工智能(Google Ai)和芝加哥丰田技术研究所(Toyota technology institute of Chicago)的研究人员创建了一种人工智能模型ALBERT,它在主要的NLP性能排行榜上,GLUE和SQuAD 2.0等基准测试以及高RACE性能得分方面,均名列第一。

在斯坦福问答数据集基准(SQUAD)上,ALBERT得分为92.2,在通用语言理解评估(GLUE)基准上,ALBERT得分为89.4,在通过英语考试获得的理解(RACE)基准上,ALBERT分数为89.4%。

ALBERT是基于BERT的转换衍生版本,根据OpenReview.net周三发表的一篇论文介绍,它可以“使用参数约简技术,来降低内存的消耗,提高BERT的训练速度”。据可靠消息,该论文将于2020年的4月份,与其他被接受发表的论文一起,在埃塞俄比亚亚的斯亚贝巴举行的国际学习表征会议上,供各国代表参考。

论文中写道,“我们提出的方法使模型的规模比原来好得多。此外,我们还使用了一种自我监督的模式,该模式侧重于对句子间的连贯性进行建模,并表明它始终有助于下游任务的多句输入。”

ALBERT是BERT的最新衍生品,在主要的基准测试中全都名列前茅。5月,微软的人工智能研究人员引入了多任务深度神经网络(MT-DNN),该模型在9个GLUE基准测试中有7个取得了高分;7月底,Facebook的人工智能研究引入了RoBERTa模型,效果显著。

每个模型的性能都超过了人类的平均水平。在其他与变压器相关的新闻中,初创公司Hug Face的PyTorch库可以很方便地使用像BERT这样的主流变压器模型,Open AI的GPT-2和谷歌的XLNet通过长时间的研究,使该库可用于TensorFlow。该公司首席执行官克莱门特·德兰古告诉VentureBeat网站,自今年年初以来,PyTorch-Transformers已经安装了超过50万台Pip,实际效果令人非常满意。

据说在看的没有BUG

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20191005A0FUAC00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券