前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一颗赛艇!上海交大搞出SRNN,比普通RNN也就快135倍

一颗赛艇!上海交大搞出SRNN,比普通RNN也就快135倍

作者头像
量子位
发布2018-07-19 17:06:43
2960
发布2018-07-19 17:06:43
举报
文章被收录于专栏:量子位
安妮 编译整理 量子位 出品 | 公众号 QbitAI

快了135倍。

近日,上海交大的研究人员提出了切片循环神经网络(Sliced recurrent neural networks,SRNN)的结构,在不改变循环单元的情况下,比RNN结构快135倍。

这种如同脚踩风火轮一般的操作,究竟是怎样实现的?

在论文《Sliced Recurrent Neural Networks》中,研究人员给出了具体介绍。我们先来看看“全是重点其他免谈”的论文重点——

“曲线救国”的SRNN

传统RNN结构中最流行的循环单元是LSTM和GRU,二者都能在隐藏层中通过门控机制(Gating Mechanism)存储近期信息,然后决定这些信息将以怎样的程度和输入结合。这种结构的缺点也很明显,RNN很难实现并行化处理。

传统RNN结构,A代表循环单元 | 每一步都需要等待上一步的输出结果

因此,很多学者选在在NLP任务中用CNN来代替,但CNN无法有效获取重要的顺序信息,效果并不理想。

SRNN的结构基于RNN结构进行改良,将输入的序列切成最小的等长子序列。在这种结构中,无需等待上一步的输出结果,循环单元可在每一层的每一个子序列中同时开工,并且信息可通过多层神经网络进行传送。

SRNN结构图,A代表循环单元

最后,研究人员比较了SRNN和RNN在不同序列长度时的训练时间和与速度。

结果显示,序列越长,SRNN的优势越明显,当序列长度为32768时,SRNN的速度达到了RNN的136倍。

论文摘要

在NLP(自然语言处理)的很多任务中,循环神经网络已经取得了成功。然而这种循环的结构让并行化变得很困难,所以,训练RNN的时间通常较长。

在这篇文章中,我们提出了一种切片循环神经网络的结构,能够将序列切割成很多子序列,从而实现并行。这种结构可以在额外参数较少的情况下,通过神经网络的多个层次获取高级信息。

我们已经证明,我们可以将标准的RNN结构理解为是SRNN在使用线性激活函数时的特殊情况。

在不改变循环单元的情况下,SRNN能够比标准RNN快135倍,在训练长序列时甚至更快。我们也在大型情感分析数据集上用实验证实,SRNN的表现优于RNN。

论文传送门

关于这项研究的更具体的细节,可以移步上海交大电气信息与电气工程学院的Zeping Yu和Gongshen Liu的论文《Sliced Recurrent Neural Networks》,地址如下——

https://arxiv.org/abs/1807.02291

玩得开心~

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-07-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • “曲线救国”的SRNN
  • 论文摘要
  • 论文传送门
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档