深度学习词汇表（四）
编译 | sunlei
发布 | ATYUN订阅号
这是深度学习词汇表的第四篇文章，你们猜接下来还有没有五、六、七、八……
往期内容传送门：
KERAS
Keras是一个高层神经网络API，Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。Keras 为支持快速实验而生，能够把你的idea迅速转换为结果，如果你有如下需求，请选择Keras：
简易和快速的原型设计（keras具有高度模块化，极简，和可扩充特性）支持CNN和RNN，或二者的结合无缝CPU和GPU切换。
LSTM
LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。
LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。
MAX-POOLING
卷积神经网络中常用的一种池化操作。最大池层从一组特性中选择最大值。就像卷积层一样，池化层是由窗口(补丁)大小和步长大小参数化的。例如，我们可以使用step size 2在一个10×10特征矩阵上滑动一个大小为2×2的窗口，在每个窗口内的所有4个值中选择最大值，得到一个新的5×5特征矩阵。通过只保留最显著的信息，池化层有助于降低表示的维数，并且在图像输入的情况下，池化层为平移提供基本的不变性(即使图像移动了几个像素，也会选择相同的最大值)。池化层通常插入到连续的卷积层之间。
MNIST
MNIST数据集可能是最常用的图像识别数据集。它包括60,000个训练和10,000个手写数字的测试示例。每张图片的大小为28×28像素。最先进的模型通常在测试集中达到99.5%或更高的精度。
MOMENTUM
动量是梯度下降算法的一个扩展，它可以加速或抑制参数更新。在实际应用中，在梯度下降更新中加入动量项可以提高深度网络的收敛速度。
MULTILAYER PERCEPTRON (MLP)
多层感知器是一种具有多个全连接层的前馈神经网络，利用非线性激活函数处理不可线性分离的数据。MLP是多层神经网络的最基本形式，如果多层神经网络超过两层，则称为深度神经网络。
NEGATIVE LOG LIKELIHOOD (NLL)
参见《深度词汇学习表（二）》交叉熵代价函数 Categorical Cross Entropy Loss。
NEURAL MACHINE TRANSLATION (NMT)
NMT系统使用神经网络在英语和法语等语言之间进行翻译。NMT系统可以使用双语语料库进行端到端的培训，这与传统的机器翻译系统不同，后者需要手工制作的功能和工程。NMT系统通常使用编码器和解码器实现递归神经网络，它们分别对源句和目标句进行编码。
NEURAL TURING MACHINE (NTM)
NTM（Graves, et al., 2014）在一个很高的层面上构建神经计算模型，作为图灵机的实现。核心思想是在RNNs的基础上augment记忆模块。可以从例子中推断出简单的算法。例如，NTM可以通过示例输入和输出学习排序算法。NTMs通常学习某种形式的内存和注意机制来处理程序执行过程中的状态。