TTS-1技术报告：基于Transformer的文本转语音模型

TTS-1技术报告

我们介绍了Inworld TTS-1，这是一组两个基于Transformer的自回归文本转语音(TTS)模型。我们最大的模型TTS-1-Max拥有88亿参数，专为要求苛刻的应用场景提供最高质量和表现力。TTS-1是我们最高效的模型，具有16亿参数，专为实时语音合成和边缘设备用例而构建。

通过扩展训练计算量并应用语音语言模型(SpeechLM)组件的预训练、微调和RL对齐的序列化流程，这两个模型在各种基准测试中都实现了最先进的性能，仅依靠说话者语音的上下文学习就展现出卓越的质量。

Inworld TTS-1和TTS-1-Max能够以低延迟生成48kHz高分辨率语音，支持11种语言，并通过音频标记实现精细的情感控制和非语言发声。我们还以MIT许可证开源了训练和建模代码。

技术细节

• 模型架构：基于Transformer的自回归模型
• 参数量：TTS-1-Max(8.8B)/TTS-1(1.6B)
• 采样率：48kHz高分辨率音频
• 支持语言：11种
• 特色功能：音频标记控制、情感表达、非语言发声
• 训练流程：预训练→微调→RL对齐三阶段
• 开源协议：MIT许可证

性能表现

模型在多项基准测试中达到state-of-the-art水平，完全基于上下文学习实现高质量的语音合成。特别在以下方面表现突出：

1. 语音自然度和表现力
2. 多语言支持能力
3. 低延迟实时生成
4. 边缘设备部署效率