RNN (Recurrent Neural Network) focused on Text 专门解决文本分类问题的RNN网络
embedding--->BiLSTM--->concat final output/average all output----->softmax layer
embedding-->BiLSTM---->(dropout)-->concat ouput--->UniLSTM--->(droput)-->softmax layer
TextRNN 也可以把LSTM换成GRU单元,添加DropOut 或者 BatchNormalization 等
TextRNN 比上 TextCNN 训练速度慢上一些
其实就是max pooling, 只是在不同的channel中,输入时的时间步数(time)各不相同
TextCNN = CNN + max-over-time pooling
下图⽤⼀个例⼦解释了textCNN的设计。这⾥的输⼊是⼀个有11个词的句⼦,每个词⽤6维词向量表⽰。因此输⼊序列的宽为11,输⼊通道数为6。给定2个⼀维卷积核,核宽分别为2和4,输出通道数分别设为4和5。因此,⼀维卷积计算后,4个输出通道的宽为 11 - 2 + 1 = 10,而其他5个通道的宽为 11 - 4 + 1 = 8。尽管每个通道的宽不同,我们依然可以对各个通道做时序最⼤池化,并将9个通道的池化输出连结成⼀个9维向量。最终,使⽤全连接将9维向量变换为2维输出,即正⾯情感和负⾯情感的预测。
本文系转载,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文系转载,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。