学习
实践
活动
专区
工具
TVP
写文章

Highway Networks

阅读大概8分钟

导读

本文讨论了深层神经网络训练困难的原因以及如何使用Highway Networks去解决深层神经网络训练的困难,并且在pytorch上实现了Highway Networks。

一 、Highway Networks 与 Deep Networks 的关系

深层神经网络相比于浅层神经网络具有更好的效果,在很多方面都已经取得了很好的效果,特别是在图像处理方面已经取得了很大的突破,然而,伴随着深度的增加,深层神经网络存在的问题也就越大,像大家所熟知的梯度消失问题,这也就造成了训练深层神经网络困难的难题。2015年由Rupesh Kumar Srivastava等人受到LSTM门机制的启发提出的网络结构(Highway Networks)很好的解决了训练深层神经网络的难题,Highway Networks 允许信息高速无阻碍的通过深层神经网络的各层,这样有效的减缓了梯度的问题,使深层神经网络不在仅仅具有浅层神经网络的效果。

二、Deep Networks 梯度消失/爆炸(vanishing and exploding gradient)问题

我们先来看一下简单的深层神经网络(仅仅几个隐层)

先把各个层的公式写出来

我们对W1求导:

W = W - lr * g(t)

以上公式仅仅是四个隐层的情况,当隐层的数量达到数十层甚至是数百层的情况下,一层一层的反向传播回去,当权值 1的时候,会造成梯度爆炸,同样是仅仅前面的几层能更改正常学习,后面的隐层会变得很大。

三、Highway Networks Formula

Notation

(.) 操作代表的是矩阵按位相乘

sigmoid函数:

Highway Networks formula

对于我们普通的神经网络,用非线性激活函数H将输入的x转换成y,公式1忽略了bias。但是,H不仅仅局限于激活函数,也采用其他的形式,像convolutional和recurrent。

对于Highway Networks神经网络,增加了两个非线性转换层,一个是T(transform gate)和一个是C(carry gate),通俗来讲,T表示输入信息经过convolutional或者是recurrent的信息被转换的部分,C表示的是原始输入信息x保留的部分,其中 T=sigmoid(wx + b)

为了计算方便,这里定义了C = 1 - T

需要注意的是x,y, H, T的维度必须一致,要想保证其维度一致,可以采用或者策略,也可以使用普通的线性层改变维度,使其一致。

几个公式相比,公式3要比公式1灵活的多,可以考虑一下特殊的情况,T= 0的时候,y = x,原始输入信息全部保留,不做任何的改变,T = 1的时候,Y = H,原始信息全部转换,不在保留原始信息,仅仅相当于一个普通的神经网络。

四、Highway BiLSTM Networks

Highway BiLSTM Networks Structure Diagram

下图是Highway BiLSTM Networks结构图:

input:代表输入的词向量

B:在本任务代表bidirection lstm,代表公式(2)中的 H

T:代表公式(2)中的 T,是Highway Networks中的transform gate

C:代表公式(2)中的 C,是Highway Networks中的carry gate

Layer = n,代表Highway Networks中的第n层

Highway:框出来的代表一层Highway Networks

在这个结构图中,Highway Networks第 n - 1 层的输出作为第n层的输入

Highway BiLSTM Networks Demo

pytorch搭建神经网络一般需要继承这个类,然后实现里面的函数,搭建Highway BiLSTM Networks写了两个类,并使用将两个类联系起来:

在类的函数里面我们实现的的公式

首先我们先来计算H,上文已经说过,H可以是卷积或者是LSTM,在这里,就是我们需要的H

上文提及,x,y,H,T的维度必须保持一致,并且提供了两种策略,这里我们使用一个普通的去转换维度

也可以采用的策略保证维度一致

维度一致之后我们就可以根据我们的公式来写代码了:

最后的就是我们的输出,但是,还需要经过转换维度保证维度一致。

更多的请参考Github: Highway Networks implement in pytorch

[https://github.com/bamtercelboo/pytorch_Highway_Networks]

五、Highway BiLSTM Networks 实验结果

本次实验任务是使用Highway BiLSTM Networks 完成情感分类任务(一句话的态度分成积极或者是消极),数据来源于Twitter情感分类数据集,以下是数据集中的各个标签的句子个数:

下图是本次实验任务在2-class数据集中的测试结果。图中1-300在Highway BiLSTM Networks中表示Layer = 1,BiLSTM 隐层的维度是300维。

实验结果:从图中可以看出,简单的多层双向LSTM并没有带来情感分析性能的提升,尤其是是到了10层之后,效果有不如随机的猜测。当用上Highway Networks之后,虽然性能也在逐步的下降,但是下降的幅度有了明显的改善。

References

Highway Networks(paper)

https://arxiv.org/pdf/1505.00387.pdf

Training Very Deep Networks

https://arxiv.org/pdf/1507.06228.pdf

为什么深层神经网络难以训练

http://blog.csdn.net/binchasing/article/details/50300069

Training Very Deep Networks–Highway Networks

http://blog.csdn.net/cv_family_z/article/details/50349436

Very Deep Learning with Highway Networks

http://people.idsia.ch/~rupesh/very_deep_learning/

Hightway Networks学习笔记

http://blog.csdn.net/sinat_35218236/article/details/73826203?utm_source=itdadao&utm_medium=referral

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180328G1JI6100?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

关注

腾讯云开发者公众号
10元无门槛代金券
洞察腾讯核心技术
剖析业界实践案例
腾讯云开发者公众号二维码

扫码关注腾讯云开发者

领取腾讯云代金券