基于深度前馈序列记忆网络，如何将语音合成速度提升四倍？

摘要：

研究背景 语音合成系统主要分为两类，拼接合成系统和参数合成系统。其中参数合成系统在引入了神经网络作为模型之后，合成质量和自然度都获得了长足的进步。另一方面，物联网设备（例如智能音箱和智能电视）的大量普及也对在设备上部署的参数合成系统提出了计算资源的限制和实时率的要求。

研究背景

语音合成系统主要分为两类，拼接合成系统和参数合成系统。其中参数合成系统在引入了神经网络作为模型之后，合成质量和自然度都获得了长足的进步。另一方面，物联网设备（例如智能音箱和智能电视）的大量普及也对在设备上部署的参数合成系统提出了计算资源的限制和实时率的要求。本工作引入的深度前馈序列记忆网络可以在保持合成质量的同时，有效降低计算量，提高合成速度。

我们使用基于双向长短时记忆单元（BLSTM）的统计参数语音合成系统作为基线系统。与其他现代统计参数语音合成系统相似，我们提出的基于深度前馈序列记忆网络（DFSMN）的统计参数语音合成系统也是由3个主要部分组成，声音合成器（vocoder），前端模块和后端模块，如上图所示。我们使用开源工具WORLD作为我们的声音合成器，用来在模型训练时从原始语音波形中提取频谱信息、基频的对数、频带周期特征（BAP）和清浊音标记，也用来在语音合成时完成从声学参数到实际声音的转换。前端模块用来对输入的文本进行正则化和词法分析，我们把这些语言学特征编码后作为神经网络训练的输入。后端模块用来建立从输入的语言学特征到声学参数的映射，在我们的系统中，我们使用DFSMN作为后端模块。

深度前馈序列记忆网络

紧凑前馈序列记忆网络（cFSMN）作为标准的前馈序列记忆网络（FSMN）的改进版本，在网络结构中引入了低秩矩阵分解，这种改进简化了FSMN，减少了模型的参数量，并加速了模型的训练和预测过程。

上图给出了cFSMN的结构的图示。对于神经网络的每一个cFSMN层，计算过程可表示成以下步骤经过一个线性映射，把上一层的输出映射到一个低维向量记忆模块执行

计算，计算当前帧之前和之后的若干帧和当前帧的低维向量的逐维加权和把该加权和再经过一个仿射变换和一个非线性函数，得到当前层的输出。三个步骤可依次表示成如下公式。

上图给出了cFSMN的结构的图示。对于神经网络的每一个cFSMN层，计算过程可表示成以下步骤经过一个线性映射，把上一层的输出映射到一个低维向量记忆模块执行

与循环神经网络（RNNs，包括BLSTM）类似，通过调整记忆模块的阶数，cFSMN有能力捕捉序列的长程信息。另一方面，cFSMN可以直接通过反向传播算法（BP）进行训练，与必须使用沿时间反向传播算法（BPTT）进行训练的RNNs相比，训练cFSMN速度更快，且较不容易受到梯度消失的影响。

对cFSMN进一步改进，我们得到了深度前馈序列记忆网络（DFSMN）。DFSMN利用了在各类深度神经网络中被广泛使用的跳跃连接（skip-connections）技术，使得执行反向传播算法的时候，梯度可以绕过非线性变换，即使堆叠了更多DFSMN层，网络也能快速且正确地收敛。对于DFSMN模型，增加深度的好处有两个方面。一方面，更深的网络一般来说具有更强的表征能力，另一方面，增加深度可以间接地增大DFSMN模型预测当前帧的输出时可以利用的上下文长度，这在直观上非常有利于捕捉序列的长程信息。具体来说，我们把跳跃连接添加到了相邻两层的记忆模块之间，如下面公式所示。由于DFSMN各层的记忆模块的维数相同，跳跃连接可由恒等变换实现。

我们可以认为DFSMN是一种非常灵活的模型。当输入序列很短，或者对预测延时要求较高的时候，可以使用较小的记忆模块阶数，在这种情况下只有当前帧附近帧的信息被用来预测当前帧的输出。而如果输入序列很长，或者在预测延时不是那么重要的场景中，可以使用较大的记忆模块阶数，那么序列的长程信息就能被有效利用和建模，从而有利于提高模型的性能。

除了阶数之外，我们为DFSMN的记忆模块增加了另一个超参数，步长（stride），用来表示记忆模块提取过去或未来帧的信息时，跳过多少相邻的帧。这是有依据的，因为与语音识别任务相比，语音合成任务相邻帧之间的重合部分甚至更多。

上文已经提到，除了直接增加各层的记忆模块的阶数之外，增加模型的深度也能间接增加预测当前帧的输出时模型可以利用的上下文的长度，上图给出了一个例子。

实验

在实验阶段，我们使用的是一个由男性朗读的中文小说数据集。我们把数据集划分成两部分，其中训练集包括38600句朗读（大约为83小时），验证集包括1400句朗读（大约为3小时）。所有的语音数据采样率都为16k赫兹，每帧帧长为25毫秒，帧移为5毫秒。我们使用WORLD声音合成器逐帧提取声学参数，包括60维梅尔倒谱系数，3维基频的对数，11维BAP特征以及1维清浊音标记。我们使用上述四组特征作为神经网络训练的四个目标，进行多目标训练。前端模块提取出的语言学特征，共计754维，作为神经网络训练的输入。

我们对比的基线系统是基于一个强大的BLSTM模型，该模型由底层的1个全连接层和上层的3个BLSTM层组成，其中全连接层包含2048个单元，BLSTM层包含2048个记忆单元。该模型通过沿时间反向传播算法（BPTT）训练，而我们的DFSMN模型通过标准的反向传播算法（BP）训练。包括基线系统在内，我们的模型均通过逐块模型更新过滤算法（BMUF）在2块GPU上训练。我们使用多目标帧级别均方误差（MSE）作为训练目标。

所有的DFSMN模型均由底层的若干DFSMN层和上的2个全连接层组成，每个DFSMN层包含2048个结点和512个投影结点，而每个全连接层包含2048个结点。在上图中，第三列表示该模型由几层DFSMN层和几层全连接层组成，第四列表示该模型DFSMN层的记忆模块的阶数和步长。由于这是FSMN这一类模型首次应用在语音合成任务中，因此我们的实验从一个深度浅且阶数小的模型，即模型A开始（注意只有模型A的步长为1，因为我们发现步长为2始终稍好于步长为1的相应模型）。从系统A到系统D，我们在固定DFSMN层数为3的同时逐渐增加阶数。从系统D到系统F，我们在固定阶数和步长为10,10,2,2的同时逐渐增加层数。从系统F到系统I，我们固定DFSMN层数为10并再次逐渐增加阶数。在上述一系列实验中，随着DFSMN模型深度和阶数的增加，客观指标逐渐降低（越低越好），这一趋势非常明显，且系统H的客观指标超过了BLSTM基线。