化身顶级实时翻译高手，Meta 宣布开源最先进通用语言翻译大模型 Seamless

Meta 研究人员周四宣布，他们开发了一套名为“无缝沟通（Seamless Communication）”的新人工智能模型，旨在实现更自然、更真实的跨语言交流，本质上使通用语音翻译器的概念成为现实。同时，Meta AI 还发布了相关的研究论文和数据。

被称为 Seamless 主要模型主要涵盖了三个子模型：SeamlessExpressive、SeamlessStreaming 和 SeamlessM4T v2。Seamless 将所有的功能合并到一个统一系统中。 根据研究论文，Seamless 是“第一个可以实时解锁表达性跨语言交流的公开系统”。

研究论文：https://ai.meta.com/research/publications/seamless-multilingual-expressive-and-streaming-speech-translation/

Hugging Face：https://huggingface.co/collections/facebook/seamless-communication-6568d486ef451c6ba62c7724

Github：https://github.com/facebookresearch/seamless_communication

Seamless 如何作为通用实时翻译器工作

Seamless 翻译器代表了使用人工智能进行博客交流的新领域。 它结合了三个复杂的神经网络模型，可实现 100 多种口语和书面语言之间的实时翻译，同时保留说话者声音的声音风格、情感和韵律。

SeamlessExpressive 专注于在语言之间翻译时保留说话者声音的声音风格和情感细微差别。 正如论文中所述，“翻译应该捕捉人类表达的细微差别。 虽然现有的翻译工具能够熟练地捕获对话中的内容，但它们通常依赖于单调的机器人文本转语音系统来进行输出。”

为了在不同语言中保留说话者的声音风格，研究人员将表现力编码器纳入 SeamlessM4T v2 基础模型中。 此过程确保单元生成由预期的语速和节奏引导。 此外，用以源语音为条件的富有表现力的单元到语音生成器替换 SeamlessM4T v2 中的 HiFi-GAN 单元声码器，可以无缝传输音调、情感表达和声音风格。

SeamlessStreaming 可实现近乎实时的翻译，延迟仅为约两秒。 研究人员表示，这是“第一个大规模多语言模型”，可以在近 100 种口头和书面语言中提供如此快的翻译速度。SeamlessStreaming 能够智能地决定何时有足够的上下文来输出下一个目标文本或语音片段。 它通过学习的读/写策略来实现这一点，该策略根据部分音频输入确定是否应该“写入”并生成输出或“读取”并继续等待更多输入。 该模型自动适应不同的语言结构，从而在许多不同的语言对上实现更强的性能。

第三个模型，SeamlessM4T v2，是其他两个模型的基础。 它是去年发布的原始SeamlessM4T模型的升级版本。 该论文称，这个新架构“提高了文本和语音输出之间的一致性”。

升级后的 SeamlessM4T v2 具有非自回归文本到单元解码器。 w2v-BERT 2.0 编码器接受了 450 万小时的语音数据训练，而之前的版本则接受了 100 万小时的训练。 此外，SeamlessM4T v2 还补充了来自 SeamlessAlign 的针对低资源语言的更多数据。

SeamlessM4T v2 使用自动指标（BLEU、ASR-BLEU、BLASER 2 等）对所有任务和语言进行了全面评估，其性能显着优于以前的最先进模型。 它还测试了稳健性、偏差和幻觉毒性。

研究人员写道：“总而言之，Seamless 让我们对将通用语音翻译器从科幻小说概念转变为现实世界技术所需的技术基础有了关键的了解。”

改变全球沟通的潜力

这些模型的功能可以实现新的基于语音的通信体验，从使用智能眼镜的实时多语言对话到自动配音的视频和播客。 研究人员表示，它还可以帮助打破移民和其他沟通困难的人的语言障碍。

该论文指出：“通过公开发布我们的工作，我们希望研究人员和开发人员能够通过构建旨在在日益互联和相互依赖的世界中架起多语言联系的技术来扩大我们贡献的影响。”

然而，研究人员承认，该技术也可能被滥用于语音网络钓鱼诈骗、深度造假和其他有害应用。 为了促进模型的安全和负责任的使用，他们实施了多项措施，包括音频水印和减少幻觉有毒输出的新技术。

Meta坚持开源道路，已在 Hugging Face 上公开发布

这几个 Seamless Communication 模型已在 Hugging Face 和 Github 上公开发布。

该集合包括 Seamless、SeamlessExpressive、SeamlessStreaming 和 SeamlessM4T v2 模型以及随附的元数据。

通过免费提供这些最先进的自然语言处理模型，Meta 希望让研究人员和开发人员能够在这项工作的基础上继续发展并扩展这项工作，以帮助跨语言和跨文化的人们建立联系。

在正在发生的这场激烈的生成式 AI 革命中，Meta 一直致力将自己的大模型研究成果开源，包括其顶级大模型 Llama，Llama2等等。这次的开源再次强调了 Meta 在发展 AI 过程中的态度，为研究社区提供了宝贵的新资源。

研究人员总结道：“总的来说，Seamless 可能产生的多维体验可能会导致机器辅助跨语言交流的实现方式发生巨大变化。”

参考资料：

https://ai.meta.com/research/seamless-communication/

https://venturebeat.com/ai/meta-ai-unveils-seamless-translator-for-real-time-communication-across-languages/‌

https://ai.meta.com/research/publications/seamless-multilingual-expressive-and-streaming-speech-translation/‌