全球首个AI合成主播发布,效果以假乱真!揭秘背后技术原理

边策 李根 发自 凹非寺 量子位 报道 | 公众号 QbitAI

搜狗又在乌镇世界互联网大会上搞了大新闻。

2016年,王小川在正式论坛里秀出AI同传,那是机器实时翻译技术,首次在高规格国际会议上实战应用。

而这一次,依然世界互联网大会,搜狗联手新华社,发布的是一项名为AI合成主播的技术。

这项新技术,可比AI同传所需的语音识别、机器翻译更复杂,需要的AI能力更全面。

直白言之,就是“克隆”出与真人主播拥有同样播报能力的“分身”。

此前,类似技术尝试的有,商业化产品发布的无。

新华社给出评价:

这不仅在全球AI合成领域实现了技术创新和突破,更是在新闻领域开创了实时音视频与AI真人形象合成的先河。

这究竟是一项怎样的技术?

AI合成主播

其实所谓“AI合成”,主要强调了其技术原理。

“AI合成主播”是通过提取真人主播新闻播报视频中的声音、唇形、表情动作等特征,运用语音、唇形、表情合成以及深度学习等技术联合建模训练而成。

该项技术要能够将所输入的中英文文本自动生成相应内容的视频,并确保视频中音频和表情、唇动保持自然一致,展现与真人主播无异的信息传达效果。

如果从落地场景去看,就是喜闻乐见的虚拟主播。

但在此之前,出现在大众媒体上的虚拟主播,多半只有声音,或者匹配一个量身定制的虚拟形象。

比如微软小冰在东方卫视担任天气预报员,就是如此。

不过搜狗的“AI合成主播”,讲究的是以假乱真,需要的技术难度和产品打磨挑战,几乎不能相提并论。

搜狗AI合成主播效果

如果没有提前告知,是不是难辨真假虚实?

要实现这样的效果,2大要求缺一不可:

  • 一、高逼真度。要能够自动生成:语音、表情、唇动等信息完全一致的自然视频,并已达到商用级别。
  • 二、低成本的个性化定制。小数据的学习模型,使用少量用户真实音视频数据,快速迁移生成虚拟的分身模型,快速定制出高逼真度的分身模型。

最后,使用时输入一段文本,即可生成与真人无异的同步音视频。

听起来不难,实现却要经历“九九八十一难”。

人前近乎炫技的综合能力,幕后是一项又一项来不得半点马虎的小技术达成。

技术原理

背后包含了2大AI引擎。

一是语音合成引擎。在语音合成引擎中,基于用户少量音频数据,使用搜狗个性化语音合成技术,快速学习用户音色、韵律、情感等多维度特征,建立输入文本与输出音频信息的关联。

另一个是图像生成引擎。使用搜狗人脸识别、三维人脸重建、表情建模等技术对人脸表情动作进行特征学习和建模,建立输入文本、输出音频与输出视觉信息的关联映射,生成输出分身视频。

最后,2大引擎协作打磨,最终才能实现“AI合成主播”——能够逼真模拟人类说话的声音、嘴唇动作和表情,并将三者自然匹配,做到惟妙惟肖,让机器以更逼真自然的形象呈现在用户面前。

应用场景

虽然媒体领域应用,就已足够惊人。

因为和真人主播相比,“AI合成主播”能够不知疲倦地工作24小时,同时还掌握多国语言,大大提升效率、降低成本。

甚至写好文字稿,“ AI合成主播”就能即可播送了——还不会有口误或NG.

但“AI合成主播”出现,更是让个性化内容生成的门槛大为降低,娱乐、医疗健康、教育、法律等多个领域和场景,无一不适用。

虚拟教师、虚拟医生,虚拟客服等需要人类参与的内容表达场景,都能发挥价值。

当然,To B商业应用居多,但如果你想试,搜狗方面称,在手机上借助“搜狗制音坊”小程序,也能通过录制用户一段讲话,让其转化为各种名人的声音——这就是语音合成技术在作用。

视觉方面的合成也能试,比如秒变吴彦祖:

总之,技术已经ready,就看怎么找场景落地了。

外媒评价

此外,因为史无前例,所以这个“AI合成主播”,确实也让外媒对中国AI惊叹了一把。

《南华早报》评价,知名主播在新闻制作中的稀缺资产,现在通过AI,克隆而成的“他们”有能力一天工作24小时。

CNET称:搜狗技术支撑,新华社亮相了新主播,不细看不知道不是真人。

Theverge也评价:AI开始进入官方新闻播报这样的场景,说明技术已不是早期阶段了。

总之,对一家中国公司的AI技术进展如此应用如斯,确实震惊了。

进击的搜狗

不过,如果回顾搜狗今年以来的种种AI技术进展,或许这个大新闻,也情理之中:

  • 语音识别:借助搜狗输入法等产品落地,搜狗语音识别准确率突破98%(口音、噪音条件较可控环境下),行业领先;
  • TTS:语音合成界国际顶级大赛Blizzard Challenge 2018 中,搜狗获“可懂度”和“语音停顿”两项子任务全球第一;
  • 机器翻译:机器翻译在国际翻译顶级学术赛事WMT 2017中获中英机器翻译全球第一、IWSLT2018国际口语机器翻译评测大赛全球第一;
  • 人机对话:在NLPCC 2018比赛中,搜狗语义理解技术获得第一名、NTCIR 2017评测比赛短文本对话任务第一;
  • 机器视觉:在自动驾驶领域国际顶级评测CVPR WAD 2018道路目标检测任务全球第一、Pascal VOC 2018挑战赛目标检测Competition 3,4两项子任务,全球第一、国际自动驾驶领域权威评测集Cityscapes 2018实例分割评测任务全球第一、MegaFace 2018人脸识别任务,以99.939%的准确率,获全球第一。

所以天道酬勤,AI进程中的搜狗,此时发布全球首个AI合成主播,个人奋斗得偿而已~

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-11-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序你好

人工神经网络手册:第1部分

我写过几篇关于人工神经网络的文章,但都是关于随机概念的随机文章。本系列文章将向您详细介绍人工神经网络及其相关概念。所有内容的参考资料和参考资料将在本系列的最后提...

10750
来自专栏机器之心

从苹果店员到机器学习工程师:学习AI,我是这样起步的

我曾经在苹果商店工作,我想要改变,那么就从自己服务的技术入手吧。我开始学习机器学习和人工智能——这个领域非常热门,每一周,谷歌、Facebook 这样的科技公司...

8720
来自专栏大数据文摘

大数据预测雾霾以及存在的商机

29880
来自专栏AI科技大本营的专栏

突发 | Yann LeCun卸任!Facebook变天,做AI不能落地是不成了

作者 | 波波 编辑 | 谷磊 1月24日早间重磅消息,Facebook 人工智能研究部门(FAIR)的负责人Yann LeCun 宣布卸任,之后将担任Face...

353120
来自专栏新智元

7位数年薪抢人,DeepMind与Facebook人才大战又开火

在加拿大蒙特利尔的一座共享办公大楼里,一间角落办公室里遍布着满是代码的黑色大屏幕。显示器并排堆放着,一个挨着一个,对于Facebook AI实验室(FAIR)加...

18650
来自专栏AI科技大本营的专栏

CCAI 2017 | 小数据学习对 AI 究竟有着怎样的影响?

近几年来,得益于大数据的积累、计算能力的提升,深度学习从学术到工程领域均取得了非常显著的发展与突破,尤其是诸如图像识别、语音识别等实际场景应用。但是,依赖于海量...

36750
来自专栏镁客网

AI也会性别歧视吗?

对于一直寻求智能化的亚马逊而言,仅在仓储和物流管理上使用AI技术是远远不能满足的,因此这项2014年启动的AI招聘原本是亚马逊探寻进一步智能化的实验,却偏偏出了...

8420
来自专栏CDA数据分析师

从苹果店员到机器学习工程师:学习AI,我是这样起步的

我曾经在苹果商店工作,我想要改变,那么就从自己服务的技术入手吧。我开始学习机器学习和人工智能——这个领域非常热门,每一周,谷歌、Facebook 这样的科技公司...

8520
来自专栏达摩兵的技术空间

你该为老板选择什么样的人(2)

怎样的一个面试过程会比较愉快呢?一般的面试者或者面试官怎样操作得到一个比较满意、综合的面试过程。

8730
来自专栏新智元

【深度】AI 时代,谷歌 TPU 难以颠覆 GPU 市场优势

【新智元导读】智能时代芯片市场格局一变再变,谷歌推出 TPU 引发新一轮讨论,谁将领跑芯片市场?看几个典型产品:TPU 仅供谷歌内部使用;IBM TrueNor...

30650

扫码关注云+社区

领取腾讯云代金券