专栏首页有三AI【星球知识卡片】注意力机制发展如何了,如何学习它在各类任务中的应用?

【星球知识卡片】注意力机制发展如何了,如何学习它在各类任务中的应用?

1 注意力机制的作用

注意力机制的作用就是找到真正感兴趣的区域,加以处理,使其更好地完成任务,Google DeepMind提出的STN模型是一个非常优秀的代表。它可以定位目标并且学习对应的形变,然后进行预处理降低模型学习难度,可以作为基础模型嵌入任何网络,同时它也是一个空间注意力模型。

2 自注意力机制

与全连接神经网络相比,卷积神经网络在每一层是局部的,采用了较小的卷积核,感受实际对应到原始图像空间较大的区域,而且随着网络的加深,感受野增加。但是感受野毕竟不是全图,如何能够获得更大的感受野呢?Non-Local就是一个拥有全局感受野的自注意力模型。

3 通道注意力机制

SENet(Sequeeze and Excitation Net)是2017届ImageNet分类比赛的冠军网络,本质上是一个基于通道的Attention模型,它通过建模各个特征通道的重要程度,然后针对不同的任务增强或者抑制不同的通道。

4 空间注意力机制

图像中不同区域的重要性是不同的,动态容量网络(Dynamic Capacity Networks)是一个空间注意力机制网络,通过两个子网络来实现。

5 融合空间和通道注意力

STN等模型是从空间维度进行Attention,SENet等模型是从通道维度进行Attention,当然我们也可以同时使用空间Attention和通道Attention机制,以CBAM为代表。

6 其他

除了以上基本的变种,注意力机制还有非常多的研究,包括:

(1) 空间注意力模型的各种设计。

(2) 通道注意力模型的各种。

(3) 自注意力模型的各种设计。

(4) 如何对多种注意力机制进行融合。

(5) 注意力机制与残差网络,分组网络等经典结构的结合。

(6) 注意力机制在各类计算机视觉任务中的具体应用。

本文分享自微信公众号 - 有三AI(yanyousan_ai),作者:言有三

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【AI不惑境】计算机视觉中注意力机制原理及其模型发展和应用

    大家好,这是专栏《AI不惑境》的第七篇文章,讲述计算机视觉中的注意力(attention)机制。

    用户1508658
  • 【完结】你对深度学习模型的理解是否足够深刻,这12篇文章可以作为一个参考

    好的模型结构是深度学习成功的关键因素之一,不仅是非常重要的学术研究方向,在工业界实践中也是模型是否能上线的关键。对各类底层深度学习模型设计和优化技术理解的深度是...

    用户1508658
  • 【完结】如何学习AutoML在模型优化中的应用,这12篇文章可以作为一个参考

    自动化机器学习技术是非常重要的基础研究,也是如今深度学习模型优化中的热点方向,我们开辟了一个专栏,专门讲解AutoML在深度学习模型优化中的一些重要思路,本次来...

    用户1508658
  • 注意力能提高模型可解释性?实验表明:并没有

    注意力机制(Bahdanau et al., 2014)引入了输入单元的条件分布来为下游的模块形成一个权重语境向量。这在神经自然语言处理结构中几乎是普遍的存在。...

    机器之心
  • 百度整改动真格,搜索引擎行业会拐点将至?

    2016年上半年百度麻烦缠身。贴吧门、魏则西事件、夜间推广赌博网站等坏消息接踵而至,百度被置于舆论漩涡,网信办《互联网信息搜索服务管理规定》和工商总局《互联网广...

    罗超频道
  • 非常牛逼的SQL语句

    SQL: insert into b(a, b, c) select d,e,f from b;  

    用户7657330
  • 运维必杀技Perf -- Linux下的系统性能调优工具

    来源:刘明 原文地址:https://www.ibm.com/developerworks/cn/linux/l-cn-perf1/ ? Perf Even...

    小小科
  • 简单使用gitHub客户端

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010105969/article/details/...

    用户1451823
  • box布局

    <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title></title> <style>...

    前朝楚水
  • 干货|如何提升数据分析的能力?

    业务篇 1 业务为核心,数据为王 了解整个产业链的结构 制定好业务的发展规划 了解衡量的核心指标 有了数据必须和业务结合才有效果。 需要懂业务的整体...

    灯塔大数据

扫码关注云+社区

领取腾讯云代金券