内行看门道:看似“佛系”的《QQ炫舞手游》,背后的音频技术一点都不简单

3月14日,腾讯旗下知名手游《QQ炫舞》正式上线各大应用商店,并迅速登上App Store免费游戏总榜第一位。作为一代玩家的青春记忆,早在游戏发布前,《QQ炫舞》手游全渠道预约人数就已突破2000W,其火爆程度不亚于腾讯旗下两款吃鸡手游。

实时语音房间内高清音乐播放,腾讯音频技术解决业内难题

《QQ炫舞》手游由端游原班人马打造,产品的核心体验与端游版本一致。此外,《QQ炫舞》手游还推出了弹珠模式、游戏音乐房间内实时语音等多种独创玩法。然而在创新的同时也带来了一些音频技术上的难题:比如游戏房间内支持高清背景音乐播放,开启实时语音后如何确保播放音乐效果的高音质,同时做到说话声音清晰且避免回音等。

游戏语音多应用在实时语音、多人会话、发送语音消息等场景,而《QQ炫舞》手游的游戏音乐房间内实时语音玩法在音频处理上的复杂度上远远超出了正常范畴。正常情况下,玩家在实时语音房间中启用电话音量模式,由于手机系统的回声消除、降噪模块的影响,房间内播放音乐音质会明显降低。玩家在实时语音房间中使用媒体音量模式播放高清音乐的同时,需要确保实时语音清晰并且避免回声。

这些技术难题对于《QQ炫舞》手游来说,无疑是一项重量级挑战。腾讯音视频实验室提供的游戏多媒体引擎GME(Game Multimedia Engine)作为游戏音乐房间内多人实时语音的解决方案,使得《QQ炫舞》手游呈现出的效果超乎预期:

视频内容

从视频可以看到,玩家在游戏音乐房间内实时语音时,使用手机的媒体音量(而非电话音量),绕过了手机系统的音频处理模块,播放效果达到QQ音乐一样的高清播放体验。当玩家说话时,说话声 “彼此隔离”,使每个声源都可以清晰呈现,且在混合发声时也不存在嘈杂感和回声,极大程度地提升玩家在游戏房间内播放音乐时的实时语音聊天体验。

对此,腾讯音视频实验室的技术专家们解释说:“这得益于GME强大音乐播放器能力,将背景音乐与实时语音完美融合。我们充分考虑到使用手机媒体音量模式的高清音乐播放效果,与房间内多人实时交流时产生的回声、噪声的影响,通过自研的高音质回声消除、噪声抑制处理技术,在保证游戏房间内音乐高音质播放的同时,减少回声、噪声对交流的影响。”

基于自研、优秀的高音质回声抵消技术,GME能保证玩家在多人实时语音场景下听清每个人说话的声音,且不会发生人声被剪切的情况。更富创意的是,如果玩家在其他玩家说话时,还能切换成电台的duking效果,提升观众与发声者的声音体验。

除此之外,GME的一些“看不见”的能力也为玩家所称道,比如为玩家提供30ms级别的超低延时耳返;此外,由于游戏音乐房间内实时语音场景对网络传输要求更高,对弱网、抗抖动的要求也更加苛刻,GME也很好地满足了这些需求。

GME攻克音频难点,为游戏提供一站式游戏语音解决方案

GME产品有着成熟的音频处理经验,特别在基础性能方面,已为400多个产品提供了音频技术支持,技术在业内可谓遥遥领先。GME支持语音开黑、休闲游戏等不同场景,在不同场景下提供不同的音质体验和不同的抗网络损伤技术,力求给用户带来最佳的游戏体验。实时语音音质在网络无损的场景下的平均MOS分达到4.38(满分5分),平均延时低于200ms;通过先进的丢包恢复技术、丢包补偿算法以及优秀的网络抗性,即使在50%以上丢包、1000ms的网络抖动下,也能保持顺畅的沟通和很好的音质。

对于游戏玩家很关心的流量消耗和CPU占用问题,GME也做了相应优化,例如MOBA类游戏中,在保证正常的语音沟通和良好的性能前提下,移动网络模式每分钟流量消耗低于500KB,CPU占用率平均在10%以下等。

值得一提的是,GME自研的3D实时语音技术,利用HRTF 算法对双耳之间的时间差异和频谱差异建立人耳获取声音模型,将无方位感的声音处理成带有声源方位感的声音,从而虚拟出空间中任意位置的声源对人耳造成的感觉。这种技术可以应用在“吃鸡”和棋牌类游戏场景上,通过提供听声辨位的能力,让玩家获得更好的游戏体验。

凭借语音效果好、接入门槛低的方案特点,GME覆盖了休闲社交类、MOBA类、MMORPG等多种游戏类型,提供实时语音、语音消息、语音转文本等功能。如今,通过针对游戏类型、游戏场景的深度优化,GME积累了深厚的技术底蕴,同时通过覆盖超过400+游戏产品的技术支持,不断积累技术经验,为玩家打造畅爽的游戏语音体验,展示了领先业内的技术实力。

游戏多媒体引擎GME 已正式登陆腾讯云,为广大游戏厂商开发者提供服务,详细信息可浏览:https://cloud.tencent.com/product/tmg?idx=1

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏about云

2016年,数据、分析和机器学习趋势五大预测

问题导读 1.你是如何预测大数据行业的? 2.本文是如何预测的? 3.你认为该如何根据行业来计划自己的2016? ? 第一个预测是数据和分析将以惊人...

3448
来自专栏AI科技大本营的专栏

谷歌收购Kaggle平台案背后精明的人工智能策略

上月初,谷歌宣布其正收购科学数据平台kaggle。其中,kaggle平台的许多评论家以及新闻报道者也以吸收人才的方式一并被收购。与此同时,kaggle平台目前也...

3254
来自专栏腾讯技术工程官方号的专栏

腾讯俞栋:定义下一代智能人机交互,从目标、挑战到实现路径

语音识别及深度学习领域专家、腾讯AI Lab副主任及西雅图实验室负责人俞栋博士,在2018年腾讯全球合作伙伴大会上展示了腾讯AI正在推进的跨领域前沿研究:下一代...

1062
来自专栏AI科技评论

MSRA副院长周明博士:四大研究领域揭示自然语言技术的奥秘

AI 科技评论按:比尔·盖茨曾说过,「语言理解是人工智能皇冠上的明珠」,沈向洋博士也说过「懂语言者得天下」。自然语言理解处在认知智能最核心的地位。它的进步会引导...

3188
来自专栏XIEJUN

未来十种AI人工智能技术

AI人工智能说(或写)出正确的单词并且是连贯的顺序来传达一个明确且清晰的意思,而且还能很容易被听众(或读者)理解,对于一台以完全不同于人脑的方式处理信息的AI人...

1170
来自专栏新智元

搜狗发布语音交互引擎“知音”,未来8年人工智能战略规划浮现

记者:胡祥杰 2016年8月3日下午,中文搜索公司搜狗发布语音交互引擎 ——知音。搜狗CTO 杨洪涛首次披露了公司未来8年主要的发展方向,搜狗语音交互中心负责人...

36511
来自专栏大数据文摘

思必驰俞凯:自然语言技术的畅想关键点不在交互,而是自然丨清华人工智能研习社

1012
来自专栏钱塘大数据

【干货】从初级到高级,大数据研究常用软件工具推荐

导读:如今,大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点,以及分析方法思路的扩展,传统统计工具已经难以应对。 工欲善其事,必先利...

38011
来自专栏CDA数据分析师

12个数据科学面试必问问题

原作者 Venkat Nagaswamy 编译 CDA 编译团队 本文为 CDA 数据分析师原创作品,转载需授权 聘用到出色的数据科学家至关重要,但这并非易事...

2408
来自专栏大数据文摘

帝国的灵魂:谷歌大脑

2138

扫码关注云+社区