请问经过CNN处理后的特征数据,它还带有位置信息吗?再传入transformer的编码器做自注意力还需要位置嵌入吗?
假设一段时间序列数据,形状为(1260,10000,1),代表有1260条数据,每条长度为10000,只有一个特征。经过包含若干层一维卷积的CNN后变为(None, 128, 1) ,这时再把它传入transformer的编码器做自注意力还需要进行位置嵌入吗?如果是的话应该在哪个维度做位置嵌入呢?谢谢!
相似问题