首页
学习
活动
专区
工具
TVP
发布

有表情、有口型的AI合成主播上线了!这项新技术我家也能用上吗?

第五届世界互联网大会开幕当天,由搜狗公司和新华社合作的全球第一个“AI合成主播”正式亮相。只需要提供文字,“AI合成主播”就能准确无误的像真人主播一样 声情并茂的播出新闻。

AI主播可以逼真的模拟人类说话时的声音、嘴唇动作和表情,并且将三者自然匹配,达到与真人几乎一致的效果。从最终的呈现方式来看,”AI合成主播“相当于是真实新闻主播的一个“分身”。另外,这款AI主播也是有原型的,他的声音以及外形都与新华社的一位真人主播一样。

AI主播原型邱浩(右)与自己的“分身”

再来看看在视频当中,这位AI主播是怎么播报的:

搜狗公司CEO王小川表示, “AI合成主播”这项技术里面涉及三个合成:声音合成、表情合成、唇型合成,特别是唇型合成。通过使用人脸关键点检测、人脸特征提取、人脸重构、唇语识别、情感迁移等多项前沿技术,并结合语音、图像等多模态信息 进行联合建模训练后,生成与真人无异的AI分身模型。

搜狗CEO王小川讲解AI合成主播原理

AI主播具体会怎么工作呢?他将如何融入到新闻传播的过程当中?我们采访了 新华社新媒体中心副总编、“AI合成主播”项目策划人之一齐慧杰。

齐慧杰

新华社新媒体中心副总编

“AI合成主播”项目策划人

合成主播的声音、唇形和表情动作,都有人工智能参与的部分:通过学习一个真人主播的声音、表情和唇语动作,再通过算法,通过底层一些相应的技术,再来合成这个机器人。

它的难点在于,是不同部分的组合。比如以前有专门合成声音的,也有专门配合表情的,但是能把这三样都捏在一起是非常难的。

在播出阶段,现在我们输入一段文本文字就可以自动生成视频了。现在的重点是新闻,做新媒体报道,用合成主播可以提高很多效率。主播每天口播的稿子,至少都是可以交给合成主播来完成了。

下一步我们还会再拓展,比如把真人的AI合成主播和其他的拍摄画面,再进一步的组合,生成我们二代或者三代的产品。

搜狗公司CEO王小川表示,AI技术分为感知技术和认知技术。感知是有声音的、有图像的,在感知技术方向上,机器有机会做到跟人一样好。

但是在认知技术方向上,机器背后的推理、知识、思考,以语言为核心的逻辑性的东西,机器的处理能力是有限的。

那么,科技人士如何评价这项“AI合成主播”技术?

专家观点

您对这项AI主播的技术如何评价?

科技财经作家、网络生态学者

醒客

从这个技术的应用上看,我个人可能给它打一个80分左右。它不是一个特别前沿的,或者说有非常巨大的突破性,但是确确实实算一个非常好的突破

从这个人工智能来合成的语音或者表情来看,本身确实是有很大难度的。因为情绪表达文字以及文字里面的含义,这是一个非常复杂的东西。比如人去理解一句话的时候,会发现一句话在不同的场景下,在不同的人的身上,它的含义还是有非常大的变化性的。

从这个角度来讲,现在能够做出来一个跟播音员很近似的一个技术,搜狗这个技术就是一大突破,还是值得大家去称道的。

日本放送协会NHK电视台从今年4月开始在节目中引入了人工智能主播,它每周播报一次大约5分钟的晚间新闻。登场的人工智能新闻主播名为Yomiko,它可以模拟真人主播的声音,流利地播报为它写好的新闻稿件。

日本AI主播Yomiko

这项技术除了在主播领域之外,未来还可能会在哪些领域得到推广应用?

从纯粹的语音技术,或者是用人工智能来模拟人这个角度,其实它的一个大方向就是陪伴的方向。

现在我们可以看到很多老人,就像日本这种社会老龄化非常严重的情况下,老年人缺乏陪伴。传统意义上,他需要另外一个人去陪他,而当人工智能做到一定程度的时候,就可以生产机器,机器并不是人,但是机器能像人一样去关怀一个人,这可能是就是一个非常大的应用方向

新闻这个方向,不算一个特别紧迫的方向,所谓新闻,它是公众关注的事件,公众关注的事件就是一个集中的影响力。

其实现在的播音员也好,主持人也好,新闻媒体也比较多,并不会觉得播音员太少了,还需要一个机器来帮我。所以从这个角度上看,就是这个新闻主播的必要性还没有我刚才说的亲人陪伴性领域那么强。

其实说到这个领域的时候,你会发现我们人类又发明一种全新的能力,当这个世界越来越变成富足社会或者过剩社会的时候,任何一个技术的推出其实都要反向思考:

人工智能的技术能力越来越强,那么它跟人的关系应该怎么处理?技术在这个里头应该扮演一个什么角色?我觉得应该更多维度的去思考这个问题。

补充两句

今年上半年发售的一款游戏《底特律:成为人类》引发热议,这款游戏如同一部科幻题材影视剧,探讨了人类与人工智能机器人之间的复杂关系。

游戏以2038年的底特律为背景,大批人工智能机器人成为人类的家政服务员、护理员以及执行危险任务的专业人员,或许这就是人工智能机器人未来的发展方向之一。

微信编辑 |江宁

编辑、采访 | 路瑶、江宁

新闻建外14号

北京新闻广播《新闻2018》

每天18:00-19:00

FM100.6 AM828

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181109G0UDJH00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券