首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

【ICLR2020】Transformer Complex-order:一种新的位置编码方式

针对该问题论文提出了一种新的位置编码方式,将独立的词向量替换成自变量为位置的函数,于是单词表示会随着位置的变化而平滑地移动,可以更好地建模单词的绝对位置和顺序信息。...其中, 表示此表中序号为 的单词在位置 时的单词向量, 表示函数集合, 表示单词到函数的映射,展开即为, 为了达到上述要求,函数应该满足以下两个条件: Property 1....Boundedness 函数应该是有界的, 接下去,论文证明了满足上述两个条件的解函数形式为, ❝贴一下论文给的证明:(看不看无所谓,能用就行 haha) 假设函数 满足上述两个条件,则对于任意位置...好像也没看到跟其他 relative position 的模型比较 reference Code Here[2] Open Review[3] 本文参考资料 [1] Encoding Word Order in Complex...id=Hke-WTVtwr [2] Code Here: https://github.com/zhaodongh/Encoding-Word-Order-in-Complex-valued-Embedding

84620
领券