噪音对比估计NOISE-CONTRASTIVE ESTIMATION (NCE)

噪音对比估计NOISE-CONTRASTIVE ESTIMATION (NCE)

噪声对比估计是一种采样损失，通常用于训练具有较大输出词汇量的分类器。在大量可能的类上计算softmax开销非常大。使用NCE，我们可以通过训练分类器从“真实”分布和人工生成的噪声分布中区分样本，从而将问题简化为二分类问题。

限制玻尔兹曼机(RESTRICTED BOLTZMANN MACHINE)RBM

RBMS是一种概率图模型，可以解释为随机人工神经网络。RBNs以无监督的方式学习数据的表示。RBN由可见层和隐藏层以及这些层中每一个二元神经元之间的连接组成。RBNs可以通过对比发散（梯度下降的近似值）得到有效的训练。

循环神经网络RECURRENT NEURAL NETWORK (RNN)

RNN通过隐藏状态或内存建模顺序交互。它可以有N个输入，也可以有N个输出。例如，输入序列可以是一个句子，输出为每个单词的词性标记(N-to-N)。输入可以是一个句子，输出是句子的情感分类(N-to-1)。输入可以是单个图像，输出可以是与图像描述(1到n)对应的单词序列。在每个时间步长，RNN根据当前输入和先前的隐藏状态计算一个新的隐藏状态(“内存”)。“重复”的原因是，在每一步都使用相同的参数，并且网络根据不同的输入执行相同的计算。

递归神经网络RECURSIVE NEURAL NETWORK

递归神经网络是循环神经网络到树型结构的推广。在每个循环中应用相同的权重。和RNN一样，递归神经网络也可以通过反向传播进行端到端的训练。虽然可以将树结构作为优化问题的一部分来学习，但是递归神经网络通常应用于已经有了预定义结构的问题，如自然语言处理中的解析树。

RELU激活函数

线性整流函数（Rectified Linear Unit, ReLU）的简称，又称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。它们由f(x) = max(0,x)定义，ReLUs相对于tanh这样的函数的优势在于它们趋于稀疏(它们的激活很容易设置为0)，并且它们较少受到消失梯度问题的影响。ReLUs是卷积神经网络中最常用的激活函数。ReLU存在多种变化，如泄漏ReLU、参数ReLU (PReLU)或光滑的softplus逼近。

残差网络RESNET

深度残差网络赢得了ILSVRC 2015年挑战赛。这些网络通过跨层栈引入快捷连接来工作，允许优化器学习“更简单”的剩余映射，而不是更复杂的原始映射。这些快捷连接类似于高速公路层，但它们是独立于数据的，不会引入额外的参数或训练复杂性。在ImageNet测试集中，ResNets的错误率达到3.57%。

均方根反向传播RMSPROP

RMSProp是一种基于梯度的优化算法。它类似于Adagrad，但是引入了一个额外的衰减项来抵消Adagrad学习速度的快速下降。

SEQ2SEQ模型

Seq2Seq，全称Sequence to Sequence。它是一种通用的编码器——解码器框架，可用于机器翻译、文本摘要、会话建模、图像字幕等场景中。Seq2Seq并不是GNMT（Google Neural Machine Translation）系统的官方开源实现。它与标准RNN的不同之处在于，在网络开始产生任何输出之前，输入序列被完全读取。通常，seq2seq模型是使用RNNs实现的，作为编码器和解码器。神经机器翻译是seq2seq模型的一个典型例子。框架的目的是去完成更广泛的任务，而神经机器翻译只是其中之一。