基于Attention机制的深度学习模型在文本分类中的应用

Attention机制在2016年被大量应用在nlp中,这里简单介绍Attention在AS任务上的应用。在对AS任务建模时,采用问题和答案对的形式建模,因此可以根据问题和答案的关系设计Attention机制。而文本分类任务中则稍有不同,文本分类建模方式为问题和标签。因此Attention机制的设计一般被应用于时序模型中,通过时序状态设计Attention。

本文参考《Hierarchical Attention Networks for Document Classification》,该论文介绍了Attention机制在英文文本分类中的应用。本文采用document级分类,即document由sentence组成,而sentence由word组成,因此天然的具有层级关系。以word为粒度输入网络抽取word级特征得到表示sentence的特征向量;然后将sentence级向量输入网络抽取sentence级特征得到最终的document级特征,然后将document特征通过一个线性表示和softmax。为了给与不同的word和不同的sentence分配不同的权重,论文设计一个层级架构的attention机制用于提升模型的性能。

Hierarchical Attention Network

本文借鉴论文中设计Attention的方式,设计了基于单字的Attention模型。

本文Attention网络结构

实验步骤

1:本次实验采用单句问题和对应的标签作为输入。实验之前首先对问题按字切词,然后采用word2vec对问题进行预训练(这里采用按字切词的方式避免的切词的麻烦,并且同样能获得较高的准确率)。

2:由于本次实验采用固定长度的GRU/LSTM,因此需要对问题和答案进行截断(过长)或补充(过短)。

3:实验建模Input。本次实验单句问题和标签进行建模(q,l),q代表问题,l代表标签。

4:将问题进行Embedding(batch_size, seq_len, embedding_size)表示。

5:对问题采用GRU/LSTM模型计算特征(seq_len, batch_size, rnn_size)。

6:GRU/LSTM模型输出向量为(batch_size, seq_len,rnn_size),因此需要对输出特征向量进行特征抽取。常用的特征抽取方式为取模型最后一步的输出为下一层的特征,但是该特征抽取方式只取了最后一步的特征,丢弃了其他的特征信息,所以本次实验采用Attention机制计算每一步特征的权值,然后进行加权平均。

7:对模型输出的特征进行线性变换。

8:针对多类文本分类,需要将线性变换的输出通过softmax

参数设置

1:、这里优化函数采用论文中使用的Adam(尝试过SGD,学习速率0.1,效果不佳)。

2、学习速率为1e-4。

3:、训练100轮。

4、embedding_size为150维。

5、attention为100维。

6、batch_size这里采用128。

7、问题长度限制为80字。

8、rnn_size为201。

9、模型采用单层网络,多层网络速度相对更慢,性能没有明显的提升。

10、dropout为0.5(在输入和输出时均执行dropout,单次dropout实验时效果不佳)

实验效果对比

BIGRU :93%

BILSTM :91.43%

BIGRU_ATTENTION :95.4%

BILSTM_ATTENTION :96.2%

实验总结:本次实验语料为5W,根据结果分析GRU稍胜LSTM,这也证明了前面博客的观点(在语料数量相对较少时,GRU可能会获得更优的性能)。将Attention机制应用在GRU和LSTM上,都取得了较好的性能提升,基于Attention的LSTM模型性能稍胜GRU模型。

附录

words.txt

train.txt

cateAndQuest.txt

vectors.txt

由于部分朋友评论不知道文件格式,因此这里举例列出各个文件的格式。words.txt和train.txt都是空格分开,cateAndQuest.txt是tab键分开,vectors.txt一行是一个词向量,和words.txt一一对应。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-08-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法全栈工程师

机器学习(一)集成学习

1. 关于集成学习的概念   集成学习是机器学习中一个非常重要且热门的分支,是用多个弱分类器构成一个强分类器,其哲学思想是“三个臭皮匠赛过诸葛亮”。一般的弱分类...

3238
来自专栏企鹅号快讯

深入机器学习系列8-Gradient-boosted tree

梯度提升树 1 Boosting   是一类将弱学习器提升为强学习器的算法。这类算法的工作机制类似:先从初始训练集中训练出一个基学习器,再根据基学习器的表现对训...

1996
来自专栏云时之间

NLP系列学习:CNN文本分类

这一篇文章主要是记录下自己阅读《Convolutional Neural Networks for Sentence Classification》这篇文章思路...

1135
来自专栏懒人开发

(6.1)James Stewart Calculus 5th Edition:Areas between Curves

493
来自专栏算法channel

机器学习|支持向量机参数求解

01 — 支持向量机 支持向量机的简称为SVM,能在已知样本点很少情况下,获得很好的分类效果。 02 — SVM分类两个点 已知两个样本点,如果用SVM模型,决...

2475
来自专栏计算机视觉战队

机器学习------令人头疼的正则化项

监督机器学习问题无非就是在规则化参数的同时最小化误差。最小化误差是为了让模型拟合训练数据,而规则化参数是防止模型过分拟合训练数据,但训练误差小并不是最终目标,最...

3484
来自专栏IT派

机器学习之集成学习

1. 关于集成学习的概念   集成学习是机器学习中一个非常重要且热门的分支,是用多个弱分类器构成一个强分类器,其哲学思想是“三个臭皮匠赛过诸葛亮”。一般的弱分类...

3096
来自专栏小小挖掘机

推荐系统遇上深度学习(三)--DeepFM模型理论和实践

推荐系统遇上深度学习系列: 推荐系统遇上深度学习(一)--FM模型理论和实践 推荐系统遇上深度学习(二)--FFM模型理论和实践 1、背景 特征组合的挑战...

3827
来自专栏技术小站

吴恩达深度学习笔记 course 2 1.1~1.14 深度学习的实用层面

在构建一个神经网络的时候我们往往需要设计很多参数,如:layers,learning rates ,acivation functions,hidden uni...

682
来自专栏AI科技大本营的专栏

机器学习填坑:你知道模型参数和超参数之间的区别吗?

图片来自Bruce Guenter,保留部分权利 翻译 | AI科技大本营(rgznai100) 参与 | 姜沂,焦燕 导语 机器学习中的模型参数和模型超参数在...

3127

扫描关注云+社区