暑期课程八、推理、注意力和记忆(Reasoning, Attention 和 Memory)

受邀专家:Sumit Chopra (Facebook)

过去几十年,在完成基本预测任务方面(比如,文本分类、图像说明以及语音识别),机器学习领域成绩斐然。但是,如何解决更深的(deeper)推理任务,仍然难以捉摸。实现更深的推理的关键因素就是在推论过程中,使用长期依存关系以及短期上下文语境。直到最近,最令人激动的机器学习模型仍然缺少读写部分长期记忆组件、并将此与推论无缝组合起来的简易方法。为了将记忆与推理结合起来,模型必须学会如何访问它,比如对记忆进行「注意」操作。

不过,大约在去年,这方面已经出现了一些值得注意的进展。在一些真实世界任务中,比如机器翻译、图像说明,发展出注意概念的模型已经展现出积极成果。在构造可以探索显示存储不同形式的计算模型方面,也出现激增趋势。为此,我会介绍这类中的一套模型。特别是,我会讨论记忆网络及其在各种给任务中的应用,比如,基于模拟故事的问答,完型填空式问题以及对话建模。我还会讨论其变种,包括,端到端记忆网络以及键值记忆网络。除此之外,我也会论及神经图灵机以及 Stack Augmented Recurrent Neural Networks。这次授课中,我会逐一讨论每个模型及其变种的利与弊。结束时,我会讨论一下这些模型以及潜在开放问题中仍然欠缺的东西。

视频、ppt下载请见文末。

课程ppt如下:






视频,ppt下载地址:https://pan.baidu.com/s/1slb70AT

原文发布于微信公众号 - CreateAMind(createamind)

原文发表时间:2016-09-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

为什么说GANs是一个绝妙的艺术创作工具?

我是一个艺术家,同时也是一位开发者。艺术和软件在我的生活中曾经是两个平行的轨道,直到我发现了GANs(Generative Adversarial Networ...

1102
来自专栏数据科学与人工智能

【算法】推荐算法--协同过滤

协同过滤推荐(Collaborative Filtering recommendation)是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。与传统的基于内...

1351
来自专栏marsggbo

[转载] 机器学习数据集统计系列一

作者:宋天龙 链接:https://www.zhihu.com/question/63383992/answer/222718972 来源:知乎

1302
来自专栏量子位

Top10机器学习开源项目发布,历时一个月评出 | 附GitHub地址

从将近250个机器学习开源项目中,综合各种条件进行打分排序,最终Mybridge团队评选出十大最新、最棒的机器学习开源项目。 这份Top10名单中包括对象检测、...

3488
来自专栏MixLab科技+设计实验室

Pix2Pix与人工智能做设计

设计是一个创造的过程,目前大部分的设计类产品大多是基于模版的,外加一些图像匹配的处理,做出来的设计,缺少创造的成分,更多的是预设的结果。 基于深度学习算法,是否...

4579
来自专栏人工智能头条

AMiner背后的技术细节与挑战

1316
来自专栏智能算法

蚁群算法(独辟蹊径的进化算法)

1. 算法背景——蚁群的自组织行为特征 高度结构化的组织——虽然蚂蚁的个体行为极其简单,但由个体组成的蚁群却构成高度结构化的社会组织,蚂蚁社会的成员有分...

3419
来自专栏AI研习社

用验证机制加强神经网络的能力:研究者提出机器学习防御措施 | 2分钟读论文

来源 / Two Minute Papers 翻译 / 洪振亚 校对 / 囧囧 整理 / 雷锋字幕组 本期论文 Reluplex: An Efficient S...

3525
来自专栏机器之心

ACL 2018 | 百度提出交互式语言学习新方法:让智能体具备单次概念学习能力

1854
来自专栏数据派THU

独家 | 一文读懂自然语言处理NLP(附学习资料)

前言 自然语言处理是文本挖掘的研究领域之一,是人工智能和语言学领域的分支学科。在此领域中探讨如何处理及运用自然语言。 对于自然语言处理的发展历程,可以从哲学中的...

1K10

扫码关注云+社区