首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >经过CNN处理后的特征数据再传入transformer的编码器做自注意力还需要位置嵌入吗?

经过CNN处理后的特征数据再传入transformer的编码器做自注意力还需要位置嵌入吗?

提问于 2023-02-23 17:42:14
回答 0关注 0查看 48

请问经过CNN处理后的特征数据,它还带有位置信息吗?再传入transformer的编码器做自注意力还需要位置嵌入吗?

假设一段时间序列数据,形状为(1260,10000,1),代表有1260条数据,每条长度为10000,只有一个特征。经过包含若干层一维卷积的CNN后变为(None, 128, 1) ,这时再把它传入transformer的编码器做自注意力还需要进行位置嵌入吗?如果是的话应该在哪个维度做位置嵌入呢?谢谢!

回答

和开发者交流更多问题细节吧,去 写回答
相关文章

相似问题

相关问答用户
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档