首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

AI虚拟人多模态交互落地难题如何破解?我们在乐享A.I.技术沙龙成都站找到了答案

6 月 23 日,讯飞开放平台乐享 A.I. 技术沙龙“A.I. 虚拟人多模态创新交互”专场在成都圆满落幕。 35 秒带你回顾现场精彩瞬间↓↓↓ 近几年,随着图像处理、语音合成、语音识别、语义理解、多语种等多项人工智能技术不断发展,AI 虚拟人开始在各行各业落地应用,各大公司争相布局。这背后,其实是 AI 虚拟人多模态交互技术正在成为大趋势。 多模态融合视觉、听觉、文本等多种模态信息,能够打破单模态输入输出限制,从而更贴近人类真实使用习惯。对于 AI 交互产品来说,只有综合利用多模态信息才能更准确地理解人类

01

2020腾讯犀牛鸟精英人才培养计划课题介绍(六)——语音技术研究

精英人才培养计划是一项校企联合人才培养项目,入选学生将受到业界顶尖技术团队与高校导师的联合指导及培养。培养期间,学生将获得3个月以上到访腾讯开展科研访问的机会,基于真实产业问题及海量数据,验证学术理论、加速成果应用转化、开阔研究视野。同时项目组将为学生搭建线上和线下学习、交流平台,帮助学生挖掘更多潜能。学生通过“十分精英圈”线上平台,随时获取前沿技术资讯、沉淀科研收获与心得;通过“智学研讨会”及“智享交流会”等线下平台,积极参与海内外顶级学术会议及学术专家交流活动;通过“精英研学营”进阶平台,对话产业

01

系统调研450篇文献,微软亚洲研究院推出超详尽语音合成综述

编者按:语音合成一直以来是语言、语音、深度学习及人工智能等领域的热门研究方向,受到了学术界和工业界广泛的关注。尽管语音合成技术的研究已有几十年的历史,基于神经网络的语音合成技术也有近十年历史,且已产出了大量的优质研究成果,但针对神经语音合成不同研究方向的整合型综述论文却十分匮乏。近日,微软亚洲研究院的研究员们通过调研了450余篇语音合成领域的文献,发表了迄今为止语音合成领域几乎最详尽的综述论文 “A Survey on Neural Speech Synthesis”。在文中,研究员们还整理收集了语音合成领域的相关资源如数据集、开源实现、演讲教程等,同时也对语音合成领域未来的研究方向进行了探讨和展望。希望本文能对相关工作的研究人员提供具有价值的参考。

02

Nature子刊 | 纽约大学团队提出基于深度学习和语音生成技术的脑电-语音解码

神经信号的语音解码面临着两大挑战。首先,用于训练个性化神经到语音解码模型的数据在时间上是非常有限的,通常只有十分钟左右,而深度学习模型往往需要大量的训练数据来驱动。其次,人类的发音非常多样,哪怕是同一个人重复说出相同的单词,语速、语调和音调等也会有变化,这给模型构建的表征空间增加了复杂性。早期的解码神经信号到语音的尝试主要依赖于线性模型,模型通常不需要庞大的训练数据集,可解释性强,但是准确率很低。近期的基于深度神经网络,尤其是利用卷积和循环神经网络架构,在模拟语音的中间潜在表示和合成后语音质量两个关键维度上展开。例如,有研究将大脑皮层活动解码成口型运动空间,然后再转化为语音,虽然解码性能强大,但重建的声音听起来不自然。另一方面,一些方法通过利用wavenet声码器、生成对抗网络(GAN)等,虽然成功重建了自然听感的语音,但准确度有限。最近,在一个植入了设备的患者的研究中,通过使用量化的HuBERT特征作为中间表示空间和预训练的语音合成器将这些特征转换成语音,实现了既准确又自然的语音波形。然而,HuBERT特征不能表示发音者特有的声学信息,只能生成固定统一的发音者声音,因此需要额外的模型将这种通用声音转换为特定患者的声音。此外,这项研究和大多数先前的尝试采用了非因果(non-causal)架构,这可能限制其在需要时序因果(causal)操作的脑机接口实际应用中的使用。

01
领券