【语言翻译】开源 | 自动地将视频中人说的A语言翻译成目标语言B，同时实现口型同步！

备注：研究方向+地点+学校/公司+昵称，更快通过申请，长按加细分领域技术交流群，目前有细分领域：图像分割、图像目标检测、论文写作、车道检测、模型优化、目标跟踪、SLAM、点云处理（分割检测）、深度学习。

获取完整原文和代码，公众号回复：09019918441

论文地址： http://arxiv.org/pdf/2003.00418v1.pdf

代码： 公众号回复：09019918441

来源： IIIT Hyderabad

论文名称：Towards Automatic Face-to-Face Translation

原文作者：Prajwal K R

内容提要

鉴于近年来自动机器翻译系统的突破，我们提出了一种新的方法，我们称之为“面对面翻译”。随着今天的数字交流变得越来越视觉化，我们认为需要一种系统，可以自动将一个人说语言a的视频翻译成目标语言B，并实现真实的口型同步。在这项工作中，我们为这个问题创建了一个自动的方案，并演示了它在多个实际应用程序中的影响。首先，通过将来自语音和语言的多个现有模块组合在一起，构建一个有效的语音到语音翻译系统。然后，我们通过整合一个新颖的视觉模块来实现“面对面翻译”，该模块可以从翻译的音频中生成真实的说话面孔。LipGAN在标准LRW测试集上的定量评价表明，它在所有标准指标上显著优于现有方法。我们还对面对面翻译方案进行了多次人工评估，结果表明，它可以显著改善跨语言使用和与多模态内容交互的整体用户体验。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。