注意力机制可以应用于像前馈神经网络这样的结构吗？
注意力机制可以应用于像前馈神经网络这样的结构吗？
提问于 2019-09-29 19:54:45
最近，我了解了解码器-编码器网络和注意机制，并发现许多论文和博客在RNN网络上实现了注意机制。
我感兴趣的是，如果其他网络可以结合注意神经网络的例子，编码器是一个前馈神经网络，解码器是一个mechanisms.For。没有时间序列的前馈神经网络可以使用注意机制吗？如果可以，请提前给我一些suggestions.Thank！
回答 2
Stack Overflow用户
回答已采纳
发布于 2019-09-29 21:34:06
通常，前馈网络将特征视为独立的；卷积网络关注相对位置和邻近；RNN和LSTM具有内存限制，倾向于在一个方向上读取。
相比之下，注意力和转换器可以从句子中较远的部分获取关于单词的上下文，无论是单词出现的早还是晚，以便编码信息来帮助我们理解单词及其在称为句子的系统中的角色。
这里有一个很好的具有注意力机制的前馈网络模型：
https://arxiv.org/pdf/1512.08756.pdf
希望对您有所帮助。
Stack Overflow用户
发布于 2019-09-29 21:05:52
是的，可以将注意力/自我注意力/多头注意力机制用于其他前馈网络。也可以在基于CNN的架构中使用注意机制，即在预测图像的另一部分时，应该更多地关注图像的哪一部分。注意力背后的邮件思想是在预测特定输出或如何将句子中的单词关联到NLP问题时，对所有其他输入赋予权重。你可以读到真正著名的Transformer架构，它基于自我关注，并且没有RNN。要想了解不同类型的注意力机制的要点，你可以阅读this blog。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/58154954
复制相关文章
相似问题
腾讯云开发者
