然而,如果我对计算的理解是正确的话,自我关注层的复杂度似乎要比声称的要低。让X成为自我关注层的输入。然后,X将具有形状(n, d),因为每个维度d都有n字向量(对应行)。因此,该层的总复杂度为O(n^2 d + n d^2),比传统的RNN层的复杂度更低。在考虑适当的中间表示维数(dk,dv)并最终乘以头数h时,也得到了同样的多头关注的结果。我知道建议的层可以在n位置上完全并行,但我相信表1没有考虑到这一点。
我肯定有一个简单而快捷的方法,但它正在逃离我。我有一个大的数据集,它有一些重复的记录,我想摆脱这些重复的记录。(副本由一个属性唯一标识,但文档的其余部分也应该相同)。FOR doc IN Documents INSERT doc2 IN Documents2FOR doc IN Documents FILTER doc.myI