受邀专家:Sumit Chopra (Facebook)
过去几十年,在完成基本预测任务方面(比如,文本分类、图像说明以及语音识别),机器学习领域成绩斐然。但是,如何解决更深的(deeper)推理任务,仍然难以捉摸。实现更深的推理的关键因素就是在推论过程中,使用长期依存关系以及短期上下文语境。直到最近,最令人激动的机器学习模型仍然缺少读写部分长期记忆组件、并将此与推论无缝组合起来的简易方法。为了将记忆与推理结合起来,模型必须学会如何访问它,比如对记忆进行「注意」操作。
不过,大约在去年,这方面已经出现了一些值得注意的进展。在一些真实世界任务中,比如机器翻译、图像说明,发展出注意概念的模型已经展现出积极成果。在构造可以探索显示存储不同形式的计算模型方面,也出现激增趋势。为此,我会介绍这类中的一套模型。特别是,我会讨论记忆网络及其在各种给任务中的应用,比如,基于模拟故事的问答,完型填空式问题以及对话建模。我还会讨论其变种,包括,端到端记忆网络以及键值记忆网络。除此之外,我也会论及神经图灵机以及 Stack Augmented Recurrent Neural Networks。这次授课中,我会逐一讨论每个模型及其变种的利与弊。结束时,我会讨论一下这些模型以及潜在开放问题中仍然欠缺的东西。
视频、ppt下载请见文末。
课程ppt如下:
视频,ppt下载地址:https://pan.baidu.com/s/1slb70AT