首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >为什么变形金刚需要位置编码?

为什么变形金刚需要位置编码?
EN

Data Science用户
提问于 2021-10-17 17:40:21
回答 1查看 867关注 0票数 4

至少在编码器的第一个自我注意层,输入与输出有对应关系,我有以下问题。

  • 排序不是已经被查询向量隐式捕获了吗,它们本身就是输入的转换?
  • 正弦波位置编码捕获的查询向量的顺序没有做什么?
  • 我是不是误解了变压器同时接收整个输入的想法?
  • 语言是如何被灌输的?
  • 如果我们立刻把整句话都加进去,难道不应该保留顺序吗?
EN

回答 1

Data Science用户

发布于 2021-10-18 07:08:05

考虑输入的句子--“我很好”。

在RNNs中,我们将句子逐字提供给网络。也就是说,首先将"I“作为输入传递,然后传递"am”,以此类推。我们逐字逐句地给句子喂食,这样我们的网络就能完全理解句子。

但对于变压器网络,我们不遵循递归机制。所以,我们不是逐个给出句子,而是把句子中的所有单词都与网络并行。同时提供单词有助于减少训练时间,也有助于学习长期依赖关系。

我们给出的词平行于变压器,词序(单词在句子中的位置)是很重要的。因此,我们应该向转换器提供一些关于词序的信息,以便它能够理解句子。

如果将输入矩阵直接传递给变压器,它就无法理解词序。因此,我们不需要直接将输入矩阵输入到变压器,而是需要添加一些表示词序(单词位置)的信息,以便我们的网络能够理解句子的意义。为此,我们引入了一种称为位置编码的技术。位置编码,顾名思义,是一种表示单词在句子中的位置(语序)的编码。

票数 1
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/103224

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档