深度学习 Memory & Attention 技术最新进展 （75PPT下载）

【新智元导读】Memory 和 Attention 技术目前在深度学习中得到了较为广泛的采用，本文总结了这两项技术的最前沿进展。其中包括在分类、问答、神经网络翻译等方面的应用。作者在最后分析了Pointer Networks 在深度学习中的优势和原理。

深度学习中 Memory 和 Attention 的前沿进展

作者：Stephen Merity

分类任务

拥有好的数据，深度学习能在图像和文本分类中做到极高的准确率。而分类器的训练其实是非常容易的：6年级和7年级的中学生创建了一个定制的视觉分类器，准确率达到90%。

在医疗诊断方面的应用：颅内出血检查

ImageNet 中分类错误率逐年降低

GPU 提升表现

但是，深度学习并不是万能的。

问答任务

信息瓶颈

在什么地方，你的模型被迫使用一个压缩表示？最重要的是，这是一件好事吗？

神经网络与压缩，是不是似曾相似？

现实世界中，没有人会进行CNN压缩

除非是Magic Pony

推特与Magic Pony已经达成合作。

词向量

“dog”这个单词可以转化成100个维度的向量

通过Word2vec 的词向量

（少量）Memory，（无）Attention

从输入层到隐藏层再到输出层

递归神经网络（RNN）的例子

神经机器翻译

Attention 与 Memory

神经机器翻译中的应用

动态记忆网络中的问答

结果，聚焦三个实验：文本、视觉和Attention 可视化

问答任务中的Attention 和 Memory

Pointer Networks