中国队夺金幕后的「AI手语翻译官」：初次上岗，手语可懂度超90%

机器之心原创

作者：蛋酱

有了腾讯 3D 手语数智人主播「聆语」的精彩解说，即使是身处「无声世界」的群体也能实时感受冰雪赛事的每一份激情。

「中国首金！」

「你永远可以相信中国短道速滑！」

2 月 5 日晚上的首都体育馆，在短道速滑混合团体 2000 米接力决赛中，中国队击败对手，夺得中国首金。

和万千观众共同见证这一重要时刻的，还有腾讯 3D 手语数智人主播「聆语」，并用手语传递了这份喜悦：「最后一个弯道！武大靖率先冲出弯道，通过终点！」

‍

在央视频多场赛事中，腾讯 3D 手语数智人「聆语」作为「AI 手语翻译官」，提供了手语解说服务，让处于无声世界中的特殊人群也能「听」到中国举办冰雪赛事的盛况，进一步提升了听障人士的观看体验。

「聆语」解说短道速滑男子 1000 米决赛，任子威夺金。

自由式滑雪女子大跳台决赛，中国选手谷爱凌夺得金牌。

我们为什么需要 AI 手语数智人主播？

在很多体育赛事中，敏锐、专业、生动、准确的赛事解说可以称得上是观赛过程的「灵魂」所在。但是对于听障人士来说，如果没有实时的手语解说服务，他们很难和其他观众一样充分感受到比赛现场的这份激情。

在本次北京冬奥会的观众中，有一位来自武汉的听障人士。他表示，自己一直对冰雪赛事很关注，但在观看比赛时，最担心的地方就是「主持人语速较快，很容易错过一些内容」。

「如果体育赛事能够借助 AI 手语翻译及时传递动态，我的观赛体验也会大大提升。」

根据第二次全国残疾人抽样调查结果，中国有听障人士 2780 万人。手语是听障人士之间相互交流思想、获取外界信息的语言。目前许多新闻资讯、文娱节目中都缺少手语翻译，手语主持人「明显供不应求」，这为听障人士接收信息带来了不小的阻碍。

目前，大众对冰雪赛事的关注热情创下新高，这对大型赛事电视观赛体验提出了更高的要求，其中也包括对手语解说服务需求的提升。AI 手语数智人主播迎来了更加广阔的应用场景。

AI 手语数智人主播可以通过建立健听人语言体系、逼真的画面语言、连贯自然的动作和新词热词快速适配，提升 AI 手语表达的可懂度。

2022 年 2 月，腾讯 3D 手语数智人「聆语」在央视频 APP 落地，「聆语」也迎来了自己的第一份工作：央视频 AI 手语翻译官。

腾讯 3D 手语数智人「聆语」由腾讯云小微联合 PCG AI 等技术团队共同打造，整合多模态交互技术、3D 数字人建模、机器翻译、语音识别和自然语言理解等技术，让「聆语」的手语表达能力接近真人。腾讯自主研发了一套可视化动作编辑平台，为更专业的手语老师提供了友好的工具平台，可以让手语老师高效率的对全量手语动作进行精修。

截至目前，腾讯 3D 手语数智人「聆语」词汇和语句覆盖量超过 160 万，并针对体育赛事做了大量定向优化，手语可懂度 90% 以上，技术水准行业领先。

腾讯团队表示，他们希望为听障人士打造手语数智人，通过自身积累的 AI 技术，打造一款可懂度高的数智人，用技术为听障人士提供便利，这也是腾讯一直强调「科技向善」的理念。

打造 3D 手语数智人「聆语」有何挑战？

正如命名「聆语」所示，腾讯这款 3D 手语数智人是听障人士真正可懂的手语数字人。相比于其他的数智人，腾讯的手语数智人在技术上具备多项优势。

对于观众来说，如果数字人在表达时出现神态和动作僵硬不自然的问题，那么观感就会大打折扣。

在外观方面，「聆语」依托腾讯领先的 3D 重光照扫描还原、面部肌肉驱动、表情肢体手势捕捉等技术，生成了高度还原真人发肤、动作自然生动的数字人。

笑意盈盈、一袭清爽蓝色套装的「聆语」最初亮相，就显著提升了手语播报的真实感与亲切感：

更具挑战性的是，与一般的口头表达相比，手语是一套视觉语言，存在语序、表情和口型呈现等诸多问题，更不用说在表达过程中手势切换的流畅连贯性了。这些问题都要求 AI 手语主播需要具备较高的手语表达能力和精准连贯的手语呈现能力。

如何让「聆语」像专业的手语主持人一样，实时、精准地传递解说内容，有效提高手语表达可懂度？

在手语动作方面，为了让「聆语」实现流畅的交互，腾讯团队的程序员们啃起了《国家通用手语词典》，并让「聆语」在上岗之前也认真学习了《国家通用手语词典》的规范。

经过漫长的手语调研、手语顾问团队建设，团队开发出了一套手语翻译系统。在手语解说时，「聆语」首先通过健听人语言与听障者手语的机器翻译能力，将健听人语言内容低延迟生成高准确率的手语语言表征。示例如下：

输入：他是我的手语老师 预处理：他 是 我 的 手语 老师 翻译：他 我 手语 老师 是

随后，「聆语」基于腾讯多模态端到端生成模型，进行联合建模及预测生成高准确率的动作、表情、唇动等序列，实现自然专业、易懂度高的手语效果。得益于腾讯云小微和PCG AI 在语音技术领域的长期积累，「聆语」的 AI 手语可懂度达到了90%以上。

赛场手语翻译的难点，包括要通过 ASR 技术，将比赛解说的语音从赛场现场的复杂环境声音中分离出来进行精准的识别，然后再将识别出来的文本信息进行智能摘要，使手语翻译能够和主持人语速达到匹配。接下来，将手语翻译生成手语视频，保证每个动作准确的同时，也要实现动作与动作之间的精准衔接。

在信息准确率方面，「聆语」还可以快速学习时下的新词热词，快速完成各种行业、业务场景和相关知识的学习，提升翻译准确性。

比如 17 岁小将苏翊鸣被称为「小栓子」，再比如谷爱凌，需要「首字母 + 唇形」才能定义成特殊的词。借助腾讯的大数据技术能力，「聆语」能够做到快速及时地掌握热词，并进行手语词汇补充。

此外，「聆语」更贴合业务，产品落地能力更强。腾讯团队综合运用 3D 数字人建模、机器翻译、多模态数字人生成、迁移学习、实时面部动作生成及驱动等多项 AI 技术，加深其感知理解，「聆语」支持业务场景更加丰富，业务数据积累量也更大。

AI 手语合成主播未来可期

随着 AI 交互智能的技术发展和应用落地，数智人已经成为很多行业的数字员工，辅助人类提供更加高效、精准的服务。

在新闻传媒领域，在 2021 年 10 月，广电总局在《广播电视和网络视听「十四五」科技发展规划》中也首次明确指出，要推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产，创新节目形态，提高制播效率和智能化水平。

一直以来，腾讯云小微始终致力于推动 AI 交互智能领域的技术发展和产业应用落地。此前，腾讯云小微联合 PCG AI 及 AI Lab 等技术力量，打造了多个数智人方案，为大众提供客服、导览、讲解等多样化服务，涉及金融、传媒政务、家居、教育、展会、交通等众多领域。

未来，来自腾讯技术团队的「聆语」还将在更多场景提供服务，帮助听障人士和正常人一样了解、交流新闻时事，助力实现更好的无障碍信息传播环境。

© THE END

转载请联系本公众号获得授权