首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

揭秘:全球首个AI合成主播是如何诞生的

内容提要 新华社联合搜狗发布全球首个合成新闻主播——“AI合成主播”火爆全球,本文披露了其诞生过程和诸多细节,以及下一步完善方向。

从全球首个AI合成主播诞生看媒体融合:

媒体应用场景就要AI到底

文/何强

2018年11月7日,在第五届世界互联网大会上,新华社联合搜狗发布全球首个合成新闻主播——“AI合成主播”,运用最新人工智能技术,“克隆”出与真人主播拥有同样播报能力的“分身”,此举在全球AI合成领域实现了技术创新和突破,开创了新闻领域实时音频与AI真人形象合成的先河。

逼真度极高的外形、24小时不知疲惫的播报,首次主持的画面视频,一经发布,就在媒体圈和科技圈引起了不小的反响,CNN、华盛顿邮报等世界范围内的知名媒体以多种形式高度关注。

一、关注前沿科技,让好玩的想法能够迅速落地

随着移动互联网的发展和人工智能的普及,媒体行业正发生着深刻的剧变。与拥有最前沿技术的互联网企业合作,是一个新媒体人必备的素质。一次偶然的机会,我们看到搜狗公司的相关人工智能产品,突然一个想法应运而生:能否让这种AI(人工智能)合成技术和新闻的应用场景结合,在新华社落地,打造一款高逼真度的“AI合成主播”?

何为“AI合成主播”?简而言之,它是通过提取真人主播新闻播报视频中的声音、唇形、表情动作等特征,运用语音、唇形、表情合成以及深度学习等技术联合建模训练而成。它可以将所输入的文本自动生成相应内容的视频,并确保视频中音频和表情、唇动保持自然一致,展现与真人主播无异的播报效果。

于是,新华社和搜狗公司迅速成立了联合项目组。合作双方本着“新华社为主导、搜狗为主体、协同推进、服务大众”的方针,约定新华社为搜狗公司合成主播相关技术应用在全球范围内的首家合作伙伴,搜狗公司是新华社合成主播项目的唯一技术主体。搜狗公司依托领先的人脸识别、人脸建模、语音合成及深度学习等多项前沿技术优势,生产出首个运用AI技术实现的合成主播,该合成主播可通过输入文字,以指定的中英文主播形象和声音生成音、视频进行播报。

合作方面,在项目制作中,新华社提供必需的采编团队和制作场地,保证符合技术要求的主持人音、视频样本录制时间,提供符合制作要求的历史音、视频主持人数据;在此基础上合作制作的新闻节目将在新华社平台上播 出。

搜狗公司为项目的执行提供全方位的技术支撑和服务;项目执行中需使用搜狗已有的最先进的算法和软件进行开发,提供高配置服务器,并在项目执行期间对项目技术层面事宜进行维护升 级。

“AI合成主播”这一创新型的新闻传播方式,以加快人工智能在媒体应用为原则,以智能技术为基础,人机协作为特征,在几方的共同努力下顺利推 进。

二、精心策划实施,细节决定成败

为了保证几方合作打造的“AI合成主播”的效果,在音视频录制方面,我们以新华社中文主播邱浩为原型,录制了正脸播报视频数据以及大量的高质量音频数据。搜狗公司技术人员根据所需录制素材进行了文本设计,素材录制过程中,也给予了协助和质量把控,同时对录制数据进行了筛选和标注。

为扩大海外传播影响力,在语种方面,我们需要合成主播既能播放中文又能播报英文,于是又以新华社英文主播张朝为原型,录制了英文播报素材。在设计场景方面,考虑了场景覆盖和音素覆盖。

视频录制有很高的要求,主播不能明显晃动,录制时语气、表情自然具体。音频录制方面,以陈述句为主,自然流畅,无杂音、喷麦等。

经过前几个月紧张的开发,几方开展了紧密协作,中文和英文“合成主播”的配套软件已经开发制作完成,几百字的内容在短时间内即可生成短视频。此项技术的整体完成度达到预期效果,拟在第五届世界互联网大会上首次对外公开亮相。

11月7日,一张黑色人影的图片在微信朋友圈传开,配文为:“新华社将有‘大动作’,神秘人将C位出道。他是谁?”这是新华社为“AI合成主播”发布进行的一次图片预热报道,稿件阅读量迅速突破十万+。大家纷纷扫码参与,希望了解更多关于神秘人物的消息,许多人在新华社客户端和微信公号后台留言猜测:到底是谁?

当天下午,在第五届世界互联网大会上,“AI合成主播”正式出道。由新华社和搜狗公司以新品发布会的形式联合对外发布该产品,这一天,神秘人物C位出道,“国社”迎来了史上第一个合成主播。

随后,新华社客户端开设“AI合成主播”专栏,并播发了《AI合成主播丨排爆、狙击、战场救援!您想看的爆燃场面这里都有》《AI合成主播丨上海这一周 确实不简单!》等一系列报道,实现量产。至此,“AI合成主播”正式成为新华社报道队伍中一员。

三、关注受众反馈,加强版本更新

从主播“真人”到“分身”,“AI合成主播”可谓是经历了“九九八十一关”,有了多项人工智能前沿技术的“加持”,才走到了今天。业内人士认为,“AI合成主播”将大大加快新闻报道时效,降低新闻制作成本,对传媒行业影响深远。

“AI合成主播”也受到全球媒体关注,路透社、BBC、CNN、《泰晤士报》、福克斯新闻、今日俄罗斯电视台、法兰西24电视台、《新闻周刊》《洛杉矶时报》、美国国家公共电台等媒体以文字、视频等方式进行了大篇幅报道。

(一)新华社率先定义AI时代新闻内容生产的标准,开创实时音视频与AI真人形象合成的先河。

深圳大学传播学院教授冯广超认为,新华社“AI合成主播”广受好评,把AI在新闻生产的运用从幕后衍生到台前,让更多的视频新闻可以提供给用户,这无疑对这个时代新闻的传播方式、传播效果、传播效率提出了新闻要求,给行业带来挑战的同时也带来了更大的机遇。中德人工智能研究院院长崔岩表示,此次新华社的“AI合成主播”的出现,是结合自身资源优势而实现的一次重大突破。将技术的应用真正面向用户,为用户带来具有高欣赏价值的新闻产品。

《参考消息》援引外媒报道称,中国的新闻主播可能面临一些新的竞争——人工智能机器人在播报新闻时可以模仿人的面部表情和举止。

路透社报道称,这个AI主播是以中国新闻主播邱浩为原型的,它身穿黑西装打着领带。这是中国旨在提升其在人工智能技术方面能力的一部分。

(二)满足用户多元新闻需求,降低内容生产成本,实现生产和传播效率质的提升,进一步提升权威声音的影响力。

江苏教育电视台蔡海涛说,“AI合成主播”未来有可能发展成一个随时调用数据库背景知识,与受众自然互动的新闻主播。在过去,这样有经验有学识的新闻主播需要经过多年的历练,而借助AI技术,立刻就能生成,并应用到多个领域,这种知识型交互能力将重新定义新闻主播的概念。

英国《独立报》网站则称,新华社的“AI合成主播”是一位栩栩如生的数字化播报员,可以通过模仿真人主播的形象和声音朗读文本内容。

(三)进一步丰富“AI合成主播”的面部表情和声调语气。

在受到赞许的同时,有些媒体认为“AI合成主播”还需要进一步完善。

中国传媒大学新媒体研究院研究员徐琦说,目前形象的面部表情还不够丰富、语调方面也不够有温度,下一步可以在面部表情、声调语气等方面做进一步提升。英国谢菲尔德大学人工智能和机器人学荣誉教授诺埃尔·夏基表示,AI主播是一个不错的尝试,今后我们会看到它不断改进。美国《赫芬顿邮报》网站称,新华社似乎知道AI主播是需要不断完善的,正如AI主播在其首次播报中所强调的那样。它说:“作为一名正在研发中的人工智能新闻主播,我知道我需要改进的还有很多。谢谢。”

这是新华社的一次探索,也是一次赢得世界关注的机遇。此前像这样火爆海外的新媒体产品在国内还并不多见。目前,“AI合成主播”已被运用到进博会、世界互联网大会等重要新闻事件,以及突发、科技、社会、文化等各领域的新闻报道,“AI合成主播”视频在新华社中英文客户端、新华社微信公众号、中国新华新闻电视网(CNC)、新华视点微博、新华社中国网事微博、新华社“微悦读”小程序播发后,再次引起广泛关注。(作者单位:新华社新媒体中心)

本文刊发于《中国记者》2018年第12期

值班主编:张垒

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181229B1CEZ200?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券