基于CNN的歌声合成算法论文解读

文章目录

• 资料
• 前沿
• 基于DNN的歌声合成
• 基于CNN的歌声合成
• • 损失函数
• 样本
• 结论

资料

• https://n3utrino.work/

前沿

• Title:Singing voice synthesis based on convolutional neural networks
• 核心思路：midi 输入到CNN，预测声学特征（acoustic feature），声学特征输入到声码器得到音频。
  • 一句话：运用CNN模型将乐谱序列映射到声学特征
• 深度神经网络是人工神经网络，其包含很多隐含层。给语音合成和歌声合成带来机遇。其次在DNN的歌声合成方法中，DNN作为声学模型，就是实验从乐谱特征到声学特征的映射。
• 神经网络还可以对波形直接建模，例如wavenet、SampleRNN、WaveRNN、FFTnet、WaveGlow。神经王座作为声码器改变了语音合成的质量。神经网络声码器以声学特征作为输入。歌声合成最关键的是利用乐谱信息来预测声学特征。
• 前馈神经网络的局限是无法考虑到语音的序列特性。语音的每帧之间有相关性，但是前馈网络是认为各个帧是相互