Transformers中的位置编码到底是啥?

↑↑↑关注后"星标"炼丹笔记

炼丹笔记干货

作者：时晴

众所周知,self-attention是不考虑输入序列的位置的,要解决这个问题就得靠Position Encoding了,在attention is All You Need中就提出了这个方法,在每个输入中都加上了位置编码,如下图红框所示:

然后在论文3.5部分给出了以下PE公式,一个sin函数和一个cos函数,为每个position计算一个值:

说实话,看到这里时晴反正是没看懂,公式是初中生都看的懂,d_model表示输入的维度,pos表示单词的索引,i表示向量中索引,用sin,cos计算出对应值,但是为什么可以这样加到input上达到位置编码的效果呢?这时候我们看看bert就是非常直观的绝对位置动态编码,就直观很多,每个位置就是固定的embedding:

让我们看看原文作者是怎么解释的:

对于任何偏移量k,对pos+k的编码都可以是pos编码线形变换.先来看看可视化结果:

值得注意的是,每个向量第0和第1的位置,第0的位置对应于PE公式的sin式,第1的位置对应于PE公式的cos式子,但是他们的2i都是0,所以会有下式:

所以每个输入向量的第0个和第1个位置的位置编码只和向量所处的pos有关.但是第3个位置后就受d_model影响了,一旦d_model变小,sin/cos函数就会有“拉伸”感,如下图所示:

对于长度为20的input,维度是50,我们可以画出一下PE值:

我们发现,越小的pos受影响的i就越少,i如果很大,PE值就会在0和1进行变换.从上图中,我们看到30~50列值基本没有变化.为啥上图这种编码就能学到位置信息?其实有种非常直观的解释方式,比如让你对数字进行编码,最直观的想法就是二进制编码,如下图所示:

PE方法就可以简单的理解为上述版本的float编码.

PE的方法有很多,但是有很多实验表明,这些PE方法最终结果都很类似,本文讨论的PE方法优势在于可以支持更长的序列长度.