NLP: Text Neural Network (Part3: Attention)

Attention Definition

在传统的Encoder-Decoder中加入权重机制称为 Attention机制

Decoder 隐藏状态迭代可以表示成

状态迭代

Attention in Encoder-Decoder

How Attention works in Decoder to calculate Context Variable

计算Context Variable

从 function a 获得 h(t) 并且经过 softmax；然后再对每一个处理后的h(t)做加权平均，得到 Context Variable

计算t时刻Context Variable，此时 T为总时间步数，这个式子是所有状态的加权平均

Vector版本 Cotext Variable 计算

Context Variable in Linear Algebra

Update Hidden State 更新隐藏状态

以 GRU为例，展示其状态迭代，重置门，更新门，候选隐藏状态

状态迭代

从上到下依次是 重置门，更新门，候选隐藏状态

Attention (More)

Attention机制就是在语料中找出重点，分配不同权重

Attention在Machine Translation 中使用

Tom chase Jerry，Encoder-Decoder框架逐步生成中文单词：“汤姆”，“追逐”，“杰瑞” 为例

为了突出 Jerry 对于 "杰瑞"更重要

使用 Attention机制给不同的词不同的probability， 例如（Tom,0.3）(Chase,0.2) (Jerry,0.5)

使用attention机制后的Machine Translation, C1,C2,C3是Attention概率

C代表注意力分配概率分布

C也有可能是加权求和函数

Attention 分配概率计算

通过F(hj,Hi-1)获取words和Attention比值的Combination

Attention 物理含义

输入一条Query，计算 Query与Key的相关性，得到Key对应Value的权重系数，对Value加权求和，得到Attention Value

Attention公式，Lx代表Source的长度

Self-Attention

传统 Attention 中，Source和Target是不同的，比如机器翻译；

Self-Attention中，Source和Target是相同的

Self-Attention 更容易捕捉长句相互依赖的特征