FaceBook推出新的翻译模型Seamless！可实现跨语言交流的无缝衔接！

FaceBook （中文名：脸书）近期发布了一个新的翻译模型 Seamless Communication，可实现跨语言实时"无缝"交流。

该模型可以保留跨语言的表达方式和复杂性（翻译时保留语音中的停顿和语速，以及声音风格和情绪基调），语音翻译延迟大概只有两秒。

项目介绍

Seamless Communication 是一款开源多语音、语言、翻译、转录大模型。其官方模型名称之为 SeamlessM4T。

Star：7k

项目地址：https://github.com/facebookresearch/seamless_communication

SeamlessM4T 模型支持以下任务：

• • 语音到语音翻译 (S2ST)
• • 语音到文本翻译 (S2TT)
• • 文本到语音翻译 (T2ST)
• • 文本到文本翻译 (T2TT)
• • 自动语音识别 (ASR)

无缝表达

SeamlessExpressive 是一种语音到语音翻译模型，可捕捉韵律中某些未充分探索的方面，例如语速和停顿，同时保留语音风格和高内容翻译质量。

无缝流媒体

SeamlessStreaming 是一种流式翻译模型。该模型支持语音作为输入模态和语音/文本作为输出模态。

无缝流媒体 模型支持以下任务：

• • 语音到语音翻译 (S2ST)
• • 语音到文本翻译 (S2TT)
• • 自动语音识别 (ASR)

快速使用

该模型使用的必要条件之一是fairseq2，它具有仅适用于 Linux x84-86 和 Apple-silicon Mac 计算机的预构建软件包。

此外，它还依赖于libsndfile。

源代码中官方内置了一个Demo样例，可以进行本地模型测试：

cd demo
pip install -r requirements.txt
python app.py

总结

SeamlessM4T 在技术层面实现了巨大突破，支持多达100种语音、语言，同时与单一翻译产品相比，翻译效率/质量、降低延迟方面更优秀，使得全球不同地区的人可以实现流程的交流。

在进行鲁棒性测试时，与当前最先进的翻译模型相比，SeamlessM4T在语音转文本任务中针对背景噪声和说话人变化的表现更好，平均分别提高了37%和48%。