Facebook通过10亿单词构建有效的神经网络语言模型

由于在语言识别、机器翻译和语言建模等领域表现出了优异的性能,为序列预测而设计的神经网络最近再次引起了人们的兴趣,但是这些模型都是计算密集型的,成本非常高。比如在语言建模领域,最新的成果依然需要在大规模GPU集群上训练几周的时间,虽然效果不错,但是这些计算密集型的实践对大规模计算基础设施的依赖性非常强,这限制了其在学术和生产环境中的研究速度与应用。

针对这一计算瓶颈,Facebook AI 研究院(FAIR)设计了一个新的、几乎是为GPU量身定制的softmax函数,能够非常有效地通过大规模词库训练神经网络语言模型。该函数名为自适应softmax,它能根据不均衡的单词分布构建集群,使计算复杂度最小化,避免了对词库大小的线性依赖。同时能够在训练和测试阶段充分利用现代架构的特点和多维向量运算进一步降低计算消耗。与分层softmax、NCE以及重要性抽样等之前的、大部分为标准CPU设计的方法相比,该方法更适合GPU。

此外,FAIR还开发并开源了一个名为torch-rnnlib 的类库,该类库允许研究者设计新的递归模型,并以最小的努力在GPU上测试这些原型。最近Edouard Grave、Justin Chiu 和Armand Joulin在Facebook的网站上发表了一篇文章,介绍了用户如何通过该类库设计新的递归网络。

使用torch-rnnlib构建递归模型

1. 什么是语言建模?

语言建模就是通过给定词典中的单词序列学习其概率分布,根据单词过去的概率计算其条件分布。T个单词序列(w1,..., w[T])的概率可以表示为: P(w1,..., w[T])) = P(w[T]|w[T-1],..., w1)...P(w1) 该问题通常通过非参数化的计数统计模型来解决,但是目前基于递归神经网络的参数化模型已经被广泛应用于语言建模。

2. 如何使用Torch-rnnlib构建标准模型

Torch-rnnlib为递归神经网络的构建提供了三种不同的接口: 1). nn.{RNN, LSTM, GRU} 接口,用于构建所有层具有相同数量隐藏单元的递归网络。

2). rnnlib.recurrentnetwork接口,用于构建任意形状的递归网络。

3). nn.SequenceTable 接口,用于将各种计算有效地链接到一起。nn.RecurrentTable 构造器仅是一个轻量级的包装器,它会随着时间的迁移克隆递归模块。要注意的是,这是最底层的接口,必须调用rnnlib.setupRecurrent(model, initializationfunctions) 设置递归隐藏状态行为。

3. 构建自己的递归模型

可以通过定义cell函数或者cell状态初始化函数来创建自己的模型。下面的代码展示了如何从零开始构建一个RNN:

4. 在GPU上训练torch-rnnlib

因为torch-rnnlib遵循nn模块接口,所以调用模型的:cuda()方法就能将其拉到GPU上执行。rnnlib的目的就是让用户能够灵活地创建新的cell函数或者使用快基线。

此外,无论使用前面提到的第一个还是第二个接口构建递归网络,都能非常容易地使用cudnn来加速网络。对于第一个接口,通过usecudnn = true来调用构造函数:

对于第二个接口,将rnnlib.makeRecurrent替换成rnnlib.makeCudnnRecurrent,然后将cell函数修改为cudnn接口中的cellstring。例如:

这样模型的递归部分通常会有至少两倍的速度提升。但是这并不是说整个模型会提速至少两倍,特别是当主要计算工作并不在递归部分的时候,此时提升会更小一些。

图:torch-rnnlib及其他torch类库随着隐藏层数量的增加其运行时间的折线图

5. 自适应Softmax

在处理语言模型等大规模输出空间的时候,分类器可能是模型的计算瓶颈。过去提出的很多解决方案通常都是针对标准CPU而设计的,很少充分利用GPU所特有的能力。

Facebook开发的、新的自适应softmax能够根据数据的分布情况调配计算资源。它能通过加快常用类的访问速度,提供更多计算资源,来实现更好近似值和更快运行时间之间的平衡。更确切地说,它实现了一种k-way 分层softmax,能够根据GPU的架构,通过动态规划算法实现计算资源的有效分配。为了进一步降低分类器的计算负担,自适应softmax还使用了一些技巧:使用浅树(shallow trees)避免顺序计算;为每个集群设置类数量的最小值,避免浪费GPU的并行计算能力。

正如图表1所展示的那样,自适应softmax的性能与完整softmax的性能几乎不相上下,但是训练时间非常短。

图表1:基于Text8的性能。 ppl越低越好。

图:不同softmax近似函数语言模型的收敛性。该数据基于LSTM。

测试结果

Facebook两个模型的参数配置如下:小模型使用了有2048个单元的单层LSTM,大模型使用了每层有2048个神经元的双层LSTM。训练模型使用Adagrad,权重调整使用L2。批处理大小为128,反向传播窗口大小为20。

图表2:基于10亿单词进行训练后的模型复杂度(越低越好)的比较。

如图表2所示,小模型经过几天的训练复杂度达到了43.9,大模型经过6天的时间复杂度达到了39.8。目前最佳复杂度是由Jozefowicz et al.在2016年实现的30.0,但是Jozefowicz et al.达到这一数值使用了32颗GPU,花了3周多的时间;而Facebook仅用1颗GPU花了几天时间。

声明:本文系网络转载,版权归原作者所有。如涉及版权,请联系删除!

原文发布于微信公众号 - 智能算法(AI_Algorithm)

原文发表时间:2016-12-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

用深度学习每次得到的结果都不一样,怎么办?

AI研习社按:本文作者 Jason Brownlee 为澳大利亚知名机器学习专家、教育者,对时间序列预测尤有心得。原文发布于其博客。AI研习社崔静闯、朱婷编译。...

1.4K30
来自专栏决胜机器学习

机器学习(五) ——k-近邻算法进一步探究

机器学习(五)——k-近邻算法进一步探究 (原创内容,转载请注明来源,谢谢) 一、概述 现采用k-近邻算法,进行分类应用。数据源采用《机器学习实战》提供的数...

34140
来自专栏吴生的专栏

人人都会深度学习之Tensorflow基础快速入门

《Tensorflow基础快速入门》课程的目的是帮助广大的深度学习爱好者,逐层深入,步步精通当下最流行的深度学习框架Tensorflow。该课程包含Tensor...

14930
来自专栏编程

用Python进行速度预测

这次分享一段数据特征挖掘准备工作的套路~ 数据格式是这样的: ? task 预测值:速度 特征值: Region 区域 Length 长度Volume 流...

34090
来自专栏IT派

六行代码!完成你的第一个机器学习算法

Google出了一个面向新手的机器学习教程,每集六七分钟,言简意赅,只掌握最基础的Python语法知识,便可以实现一些基本的机器学习算法。接下来我准备分几次...

39660
来自专栏计算机视觉战队

结合人类视觉注意力进行图像分类

注:昨天推送发现内容有一个严重错误,所以临时删除了文章的链接,希望关注的您能够谅解,我们也是希望推送最完整最准确的内容,谢谢您的支持与关注,谢谢! 好久没有和大...

88960
来自专栏人工智能

如何使用TensorFlow实现神经网络

如果你一直关注数据科学或者机器学习等领域,你肯定不会错过深度学习和神经网络的热潮。许多组织都正在寻找深度学习人才,将深度学习运用于各个领域。从参与竞赛到运用于开...

46990
来自专栏算法channel

机器学习储备(4):最常用的求导公式

求导公式在机器学习的梯度下降中经常使用,因为梯度就意味着要求导,所以将使用频率最高的几个公式罗列在下面,方便查阅。 ? 其中第三个是第二个的特列 求导比较重要的...

38960
来自专栏云时之间

译 理解RNN和LSTM网络

循环神经网络(RNN) 人们的每次思考并不都是从零开始的。比如说你在阅读这篇文章时,你基于对前面的文字的理解来理解你目前阅读到的文字,而不是每读到一个文字时,...

34990
来自专栏AI科技大本营的专栏

多图|入门必看:万字长文带你轻松了解LSTM全貌

作者 | Edwin Chen 编译 | AI100 第一次接触长短期记忆神经网络(LSTM)时,我惊呆了。 原来,LSTM是神经网络的扩展,非常简单。深度学...

33970

扫码关注云+社区

领取腾讯云代金券