苹果连发三篇机器学习新研究：全是讲如何让Siri更厉害
安妮 编译整理 量子位 出品 | 公众号 QbitAI
Siri的本领升级了。
苹果上月推出的机器学习博客今天连更3篇新文，全部是有关Siri的研究技术。
三篇讲了啥？
在这篇题为《Deep Learning for Siri’s Voice: On-device Deep Mixture Density Networks for Hybrid Unit Selection Synthesis》的文章中，苹果介绍了Siri语音合成技术的演变过程，并对比从iOS 9到即将应用在新版本中iOS 11的声音变化，详细说明Siri的进化过程。
另外两篇分别题为《Improving Neural Network Acoustic Models by Cross-bandwidth and Cross-lingual Initialization》和《Inverse Text Normalization as a Labeling Problem》，一篇提到Siri如何用机器学习格式化地展示日期、时间等的呈现技术，另一篇讲解了如何让Siri支持更多语言。
苹果机器学习博客地址：
https://machinelearning.apple.com/
看来为了让Siri体验更好，苹果还是下了不少心思。
下面，量子位挑选《Deep Learning for Siri’s Voice: On-device Deep Mixture Density Networks for Hybrid Unit Selection Synthesis》的关键部分翻译整理，与大家分享Siri说话更自然流利背后付出的苦功夫。
深度学习如何让Siri更会说话
隐马尔可夫模型（HMM）通常被用在目标预测的统计模型中，因为它们直接模拟声音参数的分布，可以轻松利用相对熵（KLD）计算目标损失。
然而，基于深度学习的方法在参数语音合成中表现通常胜过HMM，我们希望将深度学习的优势转化到混合单元选择合成中。
Siri的文本转语音（TTS）目标是训练出基于深度学习的统一模型，能够自动准确预测数据库中单元目标和级联损失。
因此，该方法使用深度混合密度网络(MDN)预测特征值分布，而没有用HMM。这里的MDN结合了传统的深度神经网络（DNN）与高斯混合模型(GMM)。
传统的DNN是输入层和输出层间有多个隐藏神经元的人造神经网络，可以建立输入和输出特征之间复杂的非线性关系。我们可以通过反向传播调整网络的权重训练DNN。
与之相比，GMM使用一组高斯分布提供给定输入和输出数据的概率分布，并且通常使用期望最大化（EM）方法训练。MDN通过DNN对输入和输出数据的复杂关系建模，输出概率分布信息，从而结合了DNN和GMM的优点。
△ 深度混合密度网络，用来指导单元选择合成语音特征的均值和方差
在Siri上，我们使用基于MDN的统一目标和连接模型，来预测语音的目标特征(频谱、音高和持续时间)分布，以及单元间的连接成本指导单位搜索。由于MDN的输出是以高斯概率的形式分布，我们可以将其作为目标和级联成本的损失函数（Loss Function）。
无论是在像共振峰等稳定且更新缓慢的语音特征，还是多变的特征中，这种做法的优势均显而易见。考虑到这种可变性，可以选用深度MDN模型中嵌入的方差调整参数。
由于预测方差与上下文相关，可以将它们看作自动依赖上下文权重的损失。因为我们需要计算特定目标和连接损失，所以这对于提高合成质量非常重要。
在使用深度MDN的基础上对单位进行评分后，我们用传统的维特比算法寻找单位最佳路径。然后，再用波形相似重叠相加算法(WSOLA)将各单元连接，找出最优级联时间，创建平滑连续的合成语音。
最后，附论文链接地址：
https://machinelearning.apple.com/2017/08/06/Siri-voices.html#9
论文翻到底还能听到从iOS 9到11 Siri的声音对比，iOS 11版的Siri语调自然，口语力惊艳。
