深度学习: 注意力模型 (Attention Model)

Introduction

注意力模型,Attention Model 。

是根据人对画面 关注度权重 分布不均,而设计的一种新的深度学习模型。

注意力焦点

由下图可看出,人们会把注意力更多投入到人的脸部,文本的标题以及文章首句等位置:

运用

注意力模型最近几年在深度学习各个领域被广泛运用于 图像处理语音识别自然语言处理 等领域。


[1] 深度学习中的注意力机制 [2] 基于递归注意力模型的卷积神经网络:让精细化物体分类成为现实

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法工程师

《机器学习》笔记-贝叶斯分类器(7)

作者:刘才权 编辑:陈人和 前 言 如今机器学习和深度学习如此火热,相信很多像我一样的普通程序猿或者还在大学校园中的同学,一定也想参与其中。不管是出于好奇,还...

40460
来自专栏灯塔大数据

塔说 | 如何理解深度神经网络中的泛化理论?

前言 近年来的深度神经网络研究进展往往都重方法而轻理论,但理论研究能够帮助我们更好地理解深度学习成功背后的真正原因,并有望为进一步的研究指明方向。近日,普林斯顿...

41260
来自专栏机器之心

深度 | 思考VC维与PAC:如何理解深度神经网络中的泛化理论?

39640
来自专栏机器之心

观点 | 增加深度,加速神经网络优化?这是一份反直觉的实验结果

选自offconvex 作者:Nadav Cohen 机器之心编译 参与:晏奇、黄小天 深度学习的根本理论问题之一是「深度有何作用」?虽然增加神经网络的层数可...

35480
来自专栏华章科技

当我们说数据挖掘的时候我们在说什么

现在市面上谈论到的数据挖掘基本上都是基于统计学习的监督学习或非监督学习问题。尤其以监督学习应用面更广。

9620
来自专栏目标检测和深度学习

实景照片秒变新海诚风格漫画:清华大学提出CartoonGAN

CartoonGAN 的预训练模型,其中包括宫崎骏、细田守、今敏(动画电影《红辣椒》)和新海诚风格:http://cg.cs.tsinghua.edu.cn/p...

13730
来自专栏机器之心

吴恩达授课,斯坦福CS230深度学习课程资源开放

课程地址:https://web.stanford.edu/class/cs230/

11720
来自专栏目标检测和深度学习

吴恩达授课,斯坦福CS230深度学习课程资源开放

课程地址:https://web.stanford.edu/class/cs230/

19440
来自专栏机器之心

神经风格迁移研究概述:从当前研究到未来方向(附论文和代码)

选自arXiv 作者:Yongcheng Jing 等 机器之心编译 风格迁移是近来人工智能领域内的一个热门研究主题,机器之心也报道了很多相关的研究。近日,来...

47850
来自专栏杂七杂八

CS231n学习笔记--计算机视觉历史回顾与介绍2

PASCAL Visial Object Challenge为图像识别和分类提供了一整套标准化的优秀的数据集,共20类。

8530

扫码关注云+社区

领取腾讯云代金券