注意力机制可以描述为一个函数,这个函数将query和一组key-value对映射成一个输出。
代码可以参考大神的这两个repo:
(1)https://github.com/CyberZHG/keras-self-attention
(2)https://github.com/CyberZHG/keras-multi-head
本文分享自 作者个人站点/博客 前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!