学界 | 超越Softmax瓶颈:一种高秩RNN语言模型

选自arXiv

机器之心编译

参与:Panda

卡内基梅隆大学计算机科学学院最近一篇正在评议阶段的 ICLR 2018 论文在 arXiv 上公开,该论文证明使用分布式词嵌入的 Softmax 实际上没有足够的能力来建模自然语言,他们为此也提出了自己的解决方法。本论文的并列第一作者是 Zhilin Yang 和 Zihang Dai。杨植麟(Zhilin Yang)本科就读于清华大学计算机系,现就读于CMU。曾在清华 4 年保持全年级第一,同时也是清华大学 2014 年本科生特奖获得者。此外,领导苹果公司的人工智能技术研究的 CMU 教授 Ruslan Salakhutdinov 也是该论文的作者之一。本文由浙江大学博士生杨海宏推荐,他的研究方向为知识图谱问答。

在因式分解(factorization)的基础上,基于循环神经网络(RNN)的语言模型在多项基准上都达到了当前最佳的水平。尽管 RNN 作为通用近似器有出色的表达能力,但点积和 Softmax 的组合是否有能力建模条件概率(会随语境的变化而发生巨大的变化),这个问题还没有得到清楚的解答。

在这项工作中,我们从矩阵分解的角度研究了前面提到的基于 Softmax 的循环语言模型的表达能力。我们表明使用标准公式学习基于 Softmax 的循环语言模型等价于求解矩阵分解问题。更重要的是,因为自然语言高度依赖于语境,所以被分解的矩阵可能是高秩的(high-rank)。这进一步表明带有分布式(输出)词嵌入的基于标准 Softmax 的语言模型没有足够的能力建模自然语言。我们称之为 Softmax 瓶颈(Softmax bottleneck)。

我们提出了一种解决 Softmax 瓶颈的简单且有效的方法。具体而言,我们将离散隐变量(discrete latent variable)引入了循环语言模型,并且将 next-token 概率分布形式化为了 Mixture of Softmaxes(MoS)。Mixture of Softmaxes 比 Softmax 和以前的研究考虑的其它替代方法有更好的表达能力。此外,我们表明 MoS 可以学习有更大的归一化奇异值(normalized singular values)的矩阵,因此比 Softmax 和基于真实世界数据集的其它基准有高得多的秩。

我们有两大贡献。首先,我们通过将语言建模形式化为矩阵分解问题而确定了 Softmax 瓶颈的存在。第二,我们提出了一种简单且有效的方法,可以在当前最佳的结果上实现显著的提升。

论文地址:https://arxiv.org/pdf/1711.03953.pdf

摘要:我们将语言建模形式化了矩阵分解问题,并且表明基于 Softmax 的模型(包括大多数神经语言模型)的表达能力受限于 Softmax 瓶颈。鉴于自然语言高度依赖于语境,这就进一步表明使用分布式词嵌入的 Softmax 实际上没有足够的能力来建模自然语言。我们提出了一种解决这一问题的简单且有效的方法,并且在 Penn Treebank 和 WikiText-2 上分别将当前最佳的困惑度水平改善到了 47.69 和 40.68。

在 PTB 和 WT2 上的语言建模结果分别在表 1 和表 2 中给出。在参数数量差不多的情况下,MoS 的表现超越了所有使用了或没使用动态评估(dynamic evaluation)的基准,并且在当前最佳的基础上实现了显著的提升(困惑度改善了高达 3.6)。

表 1:在 Penn Treebank 的验证集和测试集上的单个模型困惑度。基准结果是从 Merity et al. (2017) 和 Krause et al. (2017) 获得的。† 表示使用了动态评估。

表 2:在 WikiText-2 上的单个模型困惑度。基准结果是从 Merity et al. (2017) 和 Krause et al. (2017) 获得的。† 表示使用了动态评估。

为了进一步验证上面所给出的改善确实源自 MoS 结构,而不是因为增加了额外的隐藏层或找到了一组特定的超参数,我们在 PTB 和 WT2 上执行了 ablation study(是指移除模型和算法的某些功能或结构,看它们对该模型和算法的结果有何影响)。

表 3:在 Switchboard 上的评估分数。

表 4:在 Penn Treebank 和 WikiText-2 上的 ablation study,没有使用微调或动态评估。

我们绘制了归一化的奇异值的累积百分比,即归一化的奇异值低于某个阈值的百分比。

图 1:给定 [0,1] 中的一个值,归一化奇异值的累积百分比。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-11-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

擂台:灵异视频辨真伪

287150
来自专栏新智元

【深度】“信息瓶颈”理论揭示深度学习本质,Hinton说他要看1万遍

【新智元导读】在深度学习应用突飞猛进的现在,我们比任何时候都急需理论上的突破。日前,希伯来大学计算机科学家和神经学家Naftali Tishby等人提出了一种叫...

30740
来自专栏机器之心

地平线机器人杨铭:深度神经网络在图像识别应用中的演化

机器之心整理 编辑:杜雪 4 月 15 日,杨铭博士在机器之心线下活动 Interface 上做了一次题为「深度神经网络在图像识别应用中的演化」的演讲。这篇文章...

49160
来自专栏CSDN技术头条

大数据架构详解:从数据获取到深度学习(内含福利)

机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。其专门研究计算机是怎样模拟...

40480
来自专栏机器之心

观点 | 机器学习=「新瓶装旧酒」的数据统计?No!

随着深度学习的热度开始消退,这个梗最近开始在社交媒体上广为流传,引起了互联网上众人的讥笑。机器学习没什么好激动的,它只是对统计技术的一种补充——这种观点越来越普...

8910
来自专栏AI科技评论

干货 | NIPS 2017录用论文先睹为快!GAIR大讲堂NIPS清华专场精彩回顾

AI科技评论按:作为机器学习和计算神经科学的国际顶级学术会议NIPS,随着近些年人工智能的发展,也变得越来越火爆。从大会官方公布的一些数据就可以看出:NIPS ...

382110
来自专栏计算机视觉战队

简单易懂的讲解深度学习(入门系列之四)

在前一个小节中,简单地谈了谈什么是“M-P神经元模型”,顺便用生活中生动的小案例,把激活函数和卷积函数的概念撸了一遍。下笔之处,尽显“神经”。当然这里所谓的“神...

12830
来自专栏人工智能头条

《最强大脑》第三场《核桃计划》比赛难点及技术解析

20120
来自专栏机器之心

独家 | 阿里智能音箱发布前夕,首次公布自然语言处理成果

机器之心报道 机器之心编辑部 阿里巴巴AI Labs 将在7月5日发布第一款智能音箱设备的消息引发了国内极大的关注,但读者们不仅不熟悉阿里巴巴AI Labs,对...

37580
来自专栏算法channel

机器学习:说说贝叶斯分类

1 进入例子 假如我是一个质检员,现在接到了三箱零件需要检验,其中第一箱有10个零件,第二箱有20个零件,第三箱有15个。半小时过去了,检验的结果出炉,第一箱有...

34770

扫码关注云+社区

领取腾讯云代金券