英伟达在人工智能对话训练方面 又创下了世界记录

本文由腾讯数码独家发布

根据国外媒体报道，英伟达公司刚刚宣布，已经培训出了世界上最大规模的语言模型，而这成为了这家顶级GPU制造商在推进人工智能对话一系列更新中的最新成果。

为了实现这一目标，英伟达利用模型并行性，将一个神经网络分割成多个部分，使用同一种技术来创建模型。而这些模型占用空间太大，无法容纳到同一个GPU的内存中。该模型使用了83亿个参数，比BERT大了24倍，比OpenAI的大了5倍。

同时，英伟达还宣布推出双向编码器(BERT)，用来表达最快的训练和推理时间。后者是一种流行的模型，由谷歌在2018年开发并且开源，拥有最先进的人工智能算法。

英伟达通过使用优化后的PyTorch软件和超过1000个显卡的DGX-SuperPOD来训练BERT，该系统能够在53分钟内完成BERT的训练。

英伟达负责深度学习副总裁布莱恩·卡塔拉萨诺（Bryan Catarazano）在接受记者和分析师采访时表示:“如果没有这种技术，训练这种大型语言模型可能需要数周的时间。”

英伟达还表示，通过在Tesla T4 GPU和TensorRT 5.1上运行数据中心推理，它已经实现了最快的伯BERT理时间，可以降至2.2毫秒。卡塔拉萨诺表示，当由CPU执行BERT推理时，计算时间可达40毫秒，而如今许多人工智能会话操作的计算时间可达10毫秒级别。

而GPU也同时为微软的必应业务带来了收益，后者使用英伟达的硬件将搜索延迟时间缩短了一半。

今天英伟达介绍的每一项改进都是为了强调显卡在语言理解方面对性能的提升。同时上述每一项系统的代码到今天都已经开源，以帮助人工智能从业者和研究人员探索如何创建大型语言模型或使用GPU进行速度训练或推理。

除了单词错误率可以大幅下降之外，延迟的减少一直是主流人工智能助手(比如亚马逊Alexa、谷歌Assistant)提高使用率的主要推动因素。而毫无延迟的交流可以让机器与人之间的对话变得更像人与人之间的对话，这种对话通常以思维的速度进行。

就像微软Cortana、亚马逊Alexa和谷歌Assistant今年陆续推出的多回合对话功能一样，与语音助手的实时交流会让人感觉更加自然。

而人工智能系统绘画水平的发展，主要围绕着谷歌2017年基于转换的语言模型和2018年BERT的发展。

从那时开始，BERT就被微软的MT-DNN、谷歌的XLNet所超越，而这二者都是建立在BERT的基础上。Facebook在今年7月推出了同样由BERT派生而来的RoBERTa。RoBERTa目前在GLUE跑分测试排行榜上名列前茅，在9个语言任务中有4个项目都是最好的，同时每个模型在粘合任务上的性能都优于人类的标。