专栏首页null的专栏深度学习算法原理——Attention BiLSTM

深度学习算法原理——Attention BiLSTM

论文地址:Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification

文章中提到使用双向的LSTM(Bidirectional LSTM)加上Attention的机制处理文本分类的相关问题,以解决CNN模型不适合学习长距离的语义信息的问题。

1. 网络结构

在Attention BiLSTM网络中,主要由5个部分组成:

  • 输入层(Input layer):指的是输入的句子,对于中文,指的是对句子分好的词;
  • Embedding层:将句子中的每一个词映射成固定长度的向量;
  • LSTM层:利用双向的LSTM对embedding向量计算,实际上是双向LSTM通过对词向量的计算,从而得到更高级别的句子的向量;
  • Attention层:对双向LSTM的结果使用Attention加权;
  • 输出层(Output layer):输出层,输出具体的结果。

注意点

  • embedding通常有两种处理方法,一个是静态embedding,即通过事先训练好的词向量,另一种是动态embedding,即伴随着网络一起训练;
  • 双向LSTM,这个网络在其他的文章中都已重点介绍,这里就不详细展开。

2. 双向LSTM的输出

假设正向的输出为→hi\underset{h_i}{\rightarrow}hi​→​,逆向的输出为←hi\underset{h_i}{\leftarrow}hi​←​,则第iii个词的向量为:

hi=[→hi⨁←hi]h_i=\left [ \underset{h_i}{\rightarrow}\bigoplus \underset{h_i}{\leftarrow} \right ] hi​=[hi​→​⨁hi​←​]

其中,⨁\bigoplus⨁表示的是对应元素相加。

3. Attention机制

假设HHH是所有词向量的集合:[h1,h2,⋯hT]\left [ h_1,h_2,\cdots h_T \right ][h1​,h2​,⋯hT​],那么Attention的计算方法如下:

M=tanh(H)M=tanh\left ( H \right )M=tanh(H) α=softmax(wTM)\alpha =softmax\left ( w^TM \right )α=softmax(wTM) r=HαTr=H\alpha ^Tr=HαT

最终用于分类的向量表示为:h∗=tanh(r)h^{\ast }=tanh\left ( r \right )h∗=tanh(r)。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 设计模式——类图以及类与类之间的关系

        设计模式在程序设计上有着很重要的作用,使用设计模式可以使得代码更容易被理解,使得代码更规范,真正实现工程化。

    zhaozhiyong
  • 设计模式——类图以及类与类之间的关系

        设计模式在程序设计上有着很重要的作用,使用设计模式可以使得代码更容易被理解,使得代码更规范,真正实现工程化。 一、用UML表示一个类 ? 类图一般是三行...

    zhaozhiyong
  • 机器学习中的常见问题——损失函数

    一、分类算法中的损失函数 image.png 1、0-1损失函数 image.png 2、Log损失函数 2.1、Log损失 image.png 2.2、Log...

    zhaozhiyong
  • jmeter压测学习2-linux运行jmeter环境

    使用jmeter做压测的时候,在windows上不太稳定,所有一直在linux服务器上使用jmeter做压力测试。 本篇记录下linux上搭建jmeter环境,...

    上海-悠悠
  • leetcode: 117. Populating Next Right Pointers in Each Node II

    JNingWei
  • 爬虫多线程高效高速爬取图片

    之前的代码https://www.cnblogs.com/pythonywy/p/11066842.html

    小小咸鱼YwY
  • class function,delphi静态函数的对象基址分析static

    在做第一项的时候跟踪了delphi传递参数的内容,发现class function实际上第一个参数(eax,edx,ecx)eax传递的是类的基址。

    战神伽罗
  • 【老炮儿白硕创业了】CCIR阡寻科技聊知识图谱和NLP如何落地金融

    【新智元导读】阡寻科技(Chancein)成立一年多,由东吴证券与中国证券市场及自然语言领域泰斗级人物白硕先生所率领的团队共同发起设立。全国信息检索学术会议上,...

    新智元
  • Lsof命令详解

    一般root用户才能执行lsof命令,普通用户可以看见/usr/sbin/lsof命令,但是普通用户执行会显示“permission denied”

    一见
  • onSaveInstanceState() 和 onRestoreInstanceState()方法

    Activity的 onSaveInstanceState() 和 onRestoreInstanceState()并不是生命周期方法,

    wust小吴

扫码关注云+社区

领取腾讯云代金券