去年12月乌镇世界互联网大会,搜狗和新华社就联手推出了全球首个AI合成主播。 现在,3个月后,这个AI主播不仅能“坐在”演播室,开始替代人类播报新闻。还能“手舞足蹈”,运用起肢体语言丰富表达了。 没错,肢体语言,就是搜狗和新华社赋予AI合成主播的最新技能。 2月19日下午,搜狗与新华社新媒体中心达成战略合作,双方在签约仪式上联合发布了站立式AI合成主播,让它站起来用更生动的方式播报新闻。 ? 这让它的原型,也就是新华社主播邱浩倍感压力。 ? 今天发布的新AI合成主播,将过去的“坐着播新闻”升级成结合肢体动作的“站立式播报”,标志着“搜狗分身”技术再次取得突破。 AI主播背后的技术 搜狗AI合成主播师从国内顶级新闻播报员,由新华社邱浩和屈萌两位主播“亲自”调教。 它是对真人主播声音、唇形、表情动作等特征进行高效提取,通过语音合成、唇形合成、表情合成以及深度学习等技术,创造出具备和真人主播一样播报能力的AI合成主播。
在今年的搜狐5G&AI峰会上,搜狗发布了最新一代AI合成主播——全球首个手语AI合成主播“小聪”。 ? 从AI新闻主播到AI手语主播,这看似一个常规的迭代升级后,背后却有着诸多不易。 首先,开发手语AI合成主播的程序员们,他们都是普通人,对手语不够了解。 为何会是搜狗 在众多AI科技公司中,为何是搜狗率先推出了手语AI合成主播? 其实并不意外,从2018年开始,搜狗就一直在探索AI数字人技术,在AI合成主播这条路上已经有了3年多成功的落地经验。 这一次,搜狗不仅发布了手语AI合成主播,还发布了柳岩同款“数字人”,它可以在一条新闻中无缝切换多种方言,即使是柳岩本人不会的方言。 ? 搜狗是AI合成主播的开创者,站在技术最前沿的同时,也在思考技术所背负的社会责任感。
领8888元新春采购礼包,抢爆款2核2G云服务器95元/年起,个人开发者加享折上折
如今,搜狗 AI 合成主播不断更新迭代。 2 月 19 日,在新华社新媒体中心与搜狗公司战略合作签约仪式上,搜狗公司与新华社新媒体中心联合发布了站立式 AI 合成主播,这次新的 AI 合成主播从过去的“坐着播新闻”升级成结合肢体动作的“站立式播报 那此次发布的站立式 AI 合成主播又开拓了哪些“技能”? 而在图像生成方面,新版的 AI 合成主播实现了更加逼真的表情生成、自然的肢体动作以及嘴唇动作预测等能力,而且还让 AI 合成主播“动”了起来,这提升了合成主播的表现力。 什么是“搜狗分身”技术? 值得一提的是,此次发布会同时发布了首个 AI 合成女主播,这是“搜狗分身”技术持续复制不同类型、不同特点 AI 合成主播能力的一个体现。
在建社87周年之际,新华社联合搜狗公布了记者团队的最新成员:两名AI主播。运用最新AI技术,“克隆”出与真人主播拥有同样播报能力的“分身”。 这不仅在全球AI合成领域实现了技术创新和突破,更是在新闻领域开创了实时音视频与AI真人形象合成的先河。 这两个主播,一个用英语说话,另一个用中文说话,但他们的声音,面部表情和嘴巴动作都是用深度学习技巧和动画合成的。 新华社表示,“AI主播已正式成为新华社报道团队的成员,他们将与其他主播合作,提供中英文的权威,及时,准确的新闻信息。” 新华社的英文和中文应用,电视网页和微信公众账号都能捕获AI主持的身影。 搜狗正在为其提供AI背后的技术。 AI合成主播是通过提取真人主播新闻播报视频中的声音、唇形、表情动作等特征,运用语音、唇形、表情合成以及深度学习等技术联合建模训练而成。
“AI合成主播”是提运用语音、唇形、表情合成以及深度学习等技术联合建模训练而成,背后是搜狗人工智能的核心技术“搜狗分身”。 但是,将AI合成的主播用于新闻播报,在官方看来还是头一次。 “AI合成主播”是什么? 据介绍,“AI合成主播”是通过提取真人主播新闻播报视频中的声音、唇形、表情动作等特征,运用语音、唇形、表情合成以及深度学习等技术联合建模训练而成。 从主播“真人”到“分身”,“AI合成主播”可谓是经历了“九九八十一关”,有了多项人工智能前沿技术的“加持”,才走到了今天。 “AI合成主播”有何用? 图片来源:新华社 新华社副社长刘思扬 与“真人”主播不同的是,“AI合成主播”竟然开了“外挂”!“真人”主播一天工作8小时,但“分身”能够不知疲倦地工作24小时!
它由搜狗公司联合新华社推出,是全球首位 3D AI 合成主播,编号「新小微」。 一、「高逼真」的背后 「新小微」,是一个 3D AI 合成主播。 其次是灵活性、可塑性更强,3D AI 合成主播可以走动、转身、可以摆出各种复杂的动作和姿态,具备在更广阔空间使用的潜力。 仔细观察你会发现,3D AI 合成主播和 3D 数字人有着本质不同,前者是完全基于 AI 算法实现驱动,而非人工驱动。 需要指出的是,2D AI 合成主播和 3D AI 合成主播是搜狗分身下的两条并行发展路线。 前者的优势在于真实性、逼真度更高,但灵活性略显不足;而后者的灵活性、可塑性更强,应用领域更广。
近日,中国首个AI合成的主播上岗,她的名字叫“新小萌”,目前已播报新闻3400余条。 它有着与真人同样的播报能力 视频中的这位AI主播就是“新小萌”,它有着与真人同样的播报能力,在播报新闻时,嘴巴张合也很自然,神情自若,并且也由之前的坐式播报升级成了结合肢体动作的站立式播报,无论怎么看, 都跟真人一样,更重要的是“新小萌”能不停工作24小时,大大提升节目制作效率,不得不说,这对于更多的主播或媒体人似乎不是一件好事。 难道AI合成的主播真的能取代记者吗? 根据相关报道,目前不太可能,因为AI合成的主播仍然需要真人作者和编辑提供播报内容,只能说人工智能的这一突破,已经向淘汰传统主播的路上又迈出了一大步。 只能共存,机器人无法取代人类 我们人类,存在数千年,这其中的理解、情感、同情心、共鸣性等软实力,是机器人无法取代的,尤其是对于注重于情感和灵感这两块的工作,是机器人无法取代的。
“姚小松”以央视主持人姚雪松为原型,基于语音合成技术,对其声音、唇语和表情进行模拟,实现了跟真人一样的主播发声和画面呈现。 ? AI主播的出现是媒体智能化的里程碑,也给AI技术落地创造了黄金场景。 AI主播不会取代人类主播 很多人看到AI主播后,第一个想到的问题是,主播会失业吗?如果机器可以更低成本、更快速度和更低失误地生成视频新闻,为什么还需要人类主播呢? 媒体的基础是信息,信息的基础是表达,表达的基础是语言,而基于语言的AI正是搜狗的差异化竞争力,媒体+AI成为搜狗的主场。 ? 分身技术的本质是对语言、表情、神态、姿势等人类表达方式的智能化模拟,是人工智能的重要部分,这一技术应用场景将十分广阔,绝不只是媒体主播。 搜狗作为语言AI的领先者,围绕表达这一细分场景做精做细,在行业已经形成足够高的壁垒,正是已为此,不论是AI主播、智能媒体还是分身技术爆发,搜狗都会大概率成为最大赢家。
这是全球首个手语AI合成主播,85%的准确率,对全国2700多万听障人士可谓是福音! 在《圣经》中描述过这样一个故事:最早的人们语言相通,准备齐心协力修建一座能够通往天堂的高塔。 搜狗最近推出的手语AI合成主播就向我们展示了这个可能性。屏幕上一位面带笑容,和蔼可亲的虚拟主播「小聪」,正在通过熟练的手语向大家问好。 简而言之,这位主播可以将「她」所听到的信息以几乎零延迟地效率转化为听障人士能够看懂的手语播报视频。 这位手语AI合成主播是搜狗AI交互技术部总经理陈伟团队的最新成果。 不过,搜狗AI团队本次发布的手语AI合成主播反而并没有让我们感受到数字人是一种「威胁」。 对于手语AI合成主播的研发,搜狗AI团队会把重心放在超写实上,如何让数字人更像真人是他们坚定不移的目标。
早在两年前,就有此类案件出现,一名名叫“李小奕LOL”的淘宝店网红,被不法分子用软件合成人脸和声音,搞起了情色直播,获得巨额打赏。 01 语音合成技术 通过AI语音合成,可以让合成的语音和真人无异,即便是身边亲近的人,也难辨真假。 ? 02 人脸图像合成 说完了语音AI合成,我们再来说人脸图像合成,多少宅男程序员都幻想的秒变吴彦祖: ? 是不是觉得很牛逼,还有更牛逼的,能让女星下海拍片的AI,你见识过么? 03 语音+人脸合成 前不久,我们曾报道过:在今年的乌镇的第五届世界互联网大会上,搜狗联合新华社发布了全球首个合成新闻主播“AI合成主播”。 这项AI技术背后“AI合成主播”是通过提取真人主播新闻播报视频中的声音、唇形、表情动作等特征,运用语音、唇形、表情合成以及深度学习等技术联合建模训练而成。 ?
实际上,「新小微」的诞生,是利用搜狗核心人工智能技术「搜狗分身」,在采集赵琬微真人海量数据的基础上,用AI算法生成的全球首个3D 虚拟主播。 全球「首个」3D AI合成主播:实时多景深切机位,业内第一家 当然了,「全球首个3D AI合成主播」的称号可不是随随便便就能叫的。 但是,单纯用骨骼动画,模型中只有骨骼参与了移动,没有考虑肌肉协调身体其他部分(比如面部表情)的联动效应,做出的效果就没有这么逼真。 那么搜狗的3D AI合成主播是如何实现的呢? 纯AI驱动,真正实现了「降本增效」 实际上,游戏或电影里面早就有了类似的虚拟数字形象,那么跟搜狗的3D AI合成主播相比,有什么区别呢? 更厉害的是,这个3D虚拟主播是在不输游戏中人物写实度的前提下,完全使用AI来驱动。 打造真正的「虚拟个人助理」:逼真、实时、可交互 说白了,3DAI合成主播只是一个演示案例。
BI软件即商业智能软件,是基于信息技术构建的智能化管理工具,它实时地对ERP、CRM、SCM等管理工具生成的企业数据进行各种分析,并给出报告,帮助管理者认识企业和市场的现状,做出正确的决策。 数据分析是BI软件最重要也是被提及最多的功能,所以很多人认为BI软件就是数据分析软件。事实上,BI软件并不能和数据分析软件划等号,除了数据分析之外,BI软件还有许多其他的功能。 下面我们就来看看BI软件都有哪些功能。 1、连接多种类型数据源 做数据分析的前提是要获取数据,现在有各种类型的数据源,包括关系型数据库、分布式数据库、文件数据源、接口数据源等。 ETL的目的是将企业中分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。 6、自助式分析 新型的BI软件是面向业务人员的,就算不具备专业的IT知识,也可以通过简单的拖拽操作生成各式各样的分析报告,极大地提升了数据分析的效率。
Step 1:定剧本 前期策划是个技术活,视频质量最终如何,拍摄剧本、创意方案、解说词等关键内容就在一开始决定了一半成败。 要不考虑下用AI进行文字创作? 不过,AI带来了一种简便做法,比如用AI来合成虚拟主播。 这位AI主播不仅能“坐在”演播室,替代人类播报新闻。还能“手舞足蹈”,运用起肢体语言丰富表达了。 男主播“新小浩”以新华社主播邱浩倍为原型创建,而“新小萌”以屈萌为原型。 ? 虚拟主播通过对真人主播声音、唇形、表情动作等特征进行提取,通过语音合成、唇形合成、表情合成以及深度学习等技术,能具备和真人主播一样的播报能力。 还在担心拍摄过程困难么,未来自动合成技术将越来越完美。 世界首张AI作曲专辑《I AM AI》是美国网红歌手Taryn Southern上传的作品,通过AI音乐创作公司Amper Music的软件,Southern只需调整情绪、风格、速度等参数,AI即可生成一首曲子
作者&编辑 | 言有三,微信Longlongtogo 今天主题是AI主播 点击边框调出视频工具条 人大二次会议正在召开中,对我们AI从业者来说,最大的技术新闻莫过于“AI主播”又现身了,再一次展现了搜狗的 上面就是声音和外形模仿新华社新媒体中心新闻主播屈萌的AI主播。 那些赞赏的话我们就不说了,下面就来简单剖析下其中的一些核心技术,真的只是简单剖析,笔者没有完整性参与过这类项目。 搜狗的这套系统据说只需要5~7分钟就可以学习到个人的音色,AI主播也只是需要录制一个半小时左右的数据,就实现了人类主播级别的语言流畅的新闻播报。 没有唇语合成行不行?前面说了主播这样的应用基本上都是嘴唇动作,而表情合成的结果是针对整个面部的,唇语合成是专门针对嘴唇,而且跟文本内容、语音、发音方式等都有关系,不是一个单一的输入。 对于唇语合成,大家可以多关注一下学术界对奥巴马同志的关照,下面的就是同一段嘴唇动作在不同的视频上的合成,用的是纯语音的输入。 ? 为什么选奥巴马?大家可以思考一下深度学习任务中最重要的是什么。
01 搜狗分身技术瞄准文娱产业 以假乱真的主播,背后是搜狗分身技术,其原理是基于搜狗AI技术,通过语音智能合成和形象智能合成两大引擎,从图像表情、声音形态、语言习惯和逻辑思维等层面对AI进行拟人化训练 “雅妮”是搜狗首个自有形象的AI合成主播,搜狗先是采集了少量真人主持人李雅妮的形象和语音素材,再经由系统自动学习、训练、形象模拟而生成。 AI+文娱的趋势下,搜狗找到了抓手是基于AI的分身技术,它能和文娱企业们一起玩儿出什么花样值得期待。 03 搜狗分身技术正在各行各业落地 此前,搜狗分身技术已在媒体主播这一场景中不断落地。 央视315晚会与央视财经频道联合推出的“姚小松”虚拟主播;今年搜狗联合俄罗斯塔斯社推出全球首位俄语AI合成主播Lisa;在咪咕70周年专题的主场,搜狗与新华社新媒体中心合作推出“AI合成主播”新小萌将作为彩蛋亮相 从搜狗自有形象AI合成主播“雅妮”亮相第三届中国“网络文学+”大会来看,搜狗正在推动分身技术和AI主播在各行各业的落地。
当然我们希望看到行业的动态,我们也希望看到每个直播平台在这个市场的占有率是什么情况,我们也希望能够看到用户在讨论一些什么,我们也希望知道主播讨论什么。 对于一些核心主播他的用户群体对主播什么看法?他们关心哪些话题?可以通过自动摘要获取。对于音频数据怎么处理? 另外我们对主播的语音进行情感分析,我们就知道这个主播这个时候是开心还是伤心,是激动还是愤怒,所有的数据都会记录下来。 大家应该很多朋友用过这个软件,这个软件是用神经网络做图片的风格转移,它的基本概念是用一个卷积神经网络分析一张图片,这个卷积神经网络把图片的特征提取出来,如果我们有一张风格图片还有一张原始图片,我们都可以用这个神经网络产生对应的特征 我们现在已经可以做到,一个主播可以实时主播,产生其他艺术风格的效果。我们下一步准备把这个技术应用到手机上面。 我们觉得大数据是人工智能最核心的技术,如果没有足够多的数据,你无法建立一个行业壁垒。
大家好,又见面了,我是你们的朋友全栈君。 用Python编程需要什么软件? Python编程是一门适合新手入门的编程语言,现在有不少程序员业余时间学习Python编程语言,学习Python找到好工具会大大提高学习的效率。好用的Python编程软件能将工作效率多倍速提升。 支持语法高亮、提示甚至是vim和emacs的键入模式。其实我们在课程里提供的在线终端也内置了ptPython。 三、包管理:Anaconda 能帮你安装好许多麻烦的软件,包括:Python环境、pip包管理工具、常用的库、配置好环境路径等等。 用Python搞数据方面的事情,就安装Anaconda就好了,它甚至开发了一套JIT的解释器Numba。所以Anaconda有了JIT之后,对线上科学计算效率要求比较高的东西也可以搞了。
金磊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 什么样的主播水平,可以担当新华社「两会」新闻播报重任? 这个AI合成主播就可以——坐姿、站姿零失误播报是基操,而且还是3D,360度取景也hold得住。 而在游戏、影视,甚至是同行3D数字人中存在的缺陷,搜狗通过开创性的AI技术,将其逐一攻克。 不是迭代,而是两条赛道并行走 说搜狗是AI合成主播的开创者,一点也不足为过。 但需要强调的一点是,搜狗的3D AI合成主播,并不是基于此前2D合成主播的升级、迭代。 而是两条赛道并行走。 2D的AI合成主播技术已经在许多场景中落地,例如新闻主播“雅妮”、“AI虚拟法官”,以及虚拟审核客服等等。
2016年,王小川在正式论坛里秀出AI同传,那是机器实时翻译技术,首次在高规格国际会议上实战应用。 而这一次,依然世界互联网大会,搜狗联手新华社,发布的是一项名为AI合成主播的技术。 AI合成主播 其实所谓“AI合成”,主要强调了其技术原理。 “AI合成主播”是通过提取真人主播新闻播报视频中的声音、唇形、表情动作等特征,运用语音、唇形、表情合成以及深度学习等技术联合建模训练而成。 不过搜狗的“AI合成主播”,讲究的是以假乱真,需要的技术难度和产品打磨挑战,几乎不能相提并论。 ? △ 搜狗AI合成主播效果 如果没有提前告知,是不是难辨真假虚实? 因为和真人主播相比,“AI合成主播”能够不知疲倦地工作24小时,同时还掌握多国语言,大大提升效率、降低成本。 甚至写好文字稿,“ AI合成主播”就能即可播送了——还不会有口误或NG. 所以天道酬勤,AI进程中的搜狗,此时发布全球首个AI合成主播,个人奋斗得偿而已~
直播 SDK 是腾讯云直播服务在移动场景的延伸,集成了腾讯云直播的推 / 拉流、主播观众互动连麦、主播跨房 PK 等能力,提供包括 iOS、Android、小程序、Web 等多种接入方式,为您提供针对移动场景的高质量直播服务,快速满足手机直播的需求。
扫码关注腾讯云开发者
领取腾讯云代金券