Meta开源支持1000多种语言的文本转语音与语音识别大语言模型

据不完全统计，地球上有超过7000多种语言，而现在的大语言模型仅仅只涉及到了主流的100多种语言。相对全球7000多种语言来讲，这仅仅只是其中的一小部分。如何让全球的人获益，把大语言模型扩展到更多的语言上，一直是大语言模型研究的重点。Meta发布了涵盖 1406 种语言的预训练 wav2vec 2.0 模型、针对 1107 种语言的单一多语言自动语音识别模型、针对相同数量语言的语音合成模型以及针对 4017 种语言的语言识别模型。如此庞大的语言模型，Meta也是开源了相关模型与代码。

为了更好地了解在大规模多语言语音数据上训练的模型表现，Meta在现有的基准数据集（例如FLEURS）上对其进行了评估。模型使用 1B 参数 wav2vec 2.0 模型训练了 1100 多种语言的多语言语音识别模型。随着语言数量的增加，性能确实会下降，但幅度很小：从 61 种语言增加到 1107 种语言，字符错误率仅增加了约 0.4%，但语言覆盖率却增加了 18 倍以上。

在与OpenAI 的 Whisper 的同类模型比较中，此模型在大规模多语言语音数据上训练的模型实现了一半的单词错误率，但比其它大规模多语言语音覆盖的语言多了 11 倍。这表明，与当前最好的语音模型相比，此模型的表现特别出色。

Meta使用自己的数据集以及现有数据集（例如 FLEURS 和 CommonVoice）训练了 4000 多种语言的语言识别 (LID) 模型，并在 FLEURS LID 任务上对其进行了评估。事实证明，支持 40 倍数量的语言仍然可以获得非常好的性能。

此模型还为 1100 多种语言构建了文本转语音系统。当前的文本到语音模型通常是在仅包含单个说话者的语音语料库上进行训练的。大规模多语言语音数据的局限性在于，它包含相对较少的多种语言的不同说话者，并且通常只有一个说话者。然而，这对于构建文本转语音系统来说是一个优势，因此此模型针对 1100 多种语言训练了此系统，且使用此模型生成的语音音质特别好。