专栏首页泛互联网行业产品游戏多媒体引擎(GME)技术原理介绍
原创

游戏多媒体引擎(GME)技术原理介绍

游戏语音的处理有特定的门槛,除了采集、处理、编码、传输、解码、渲染等各个环节本身需要的技术能力和经验之外,还需要很强的工程实力,解决几千种机型的适配和音频兼容性问题,以及海量高并发的处理能力。面对这些问题,腾讯多媒体实验室在服务数个亿万用户量级产品的过程中已经积累了很多经验。基于腾讯多媒体实验室技术能力开发的游戏多媒体引擎(Game Multimedia Engine),相比于市面上同类产品,有显著的优势:

1. 功能全面完善,提供全方位语音体验

  • 支持平台涵盖主流游戏平台win,ios,android,mac+主机端,三大主流游戏引擎Unity
  • 3D、Unreal、Cocos等通用游戏框架全覆盖,四行代码极速接入;
  • 与WWise合作,GME和Wwise总线交互音频流,可以使游戏玩家的语音处理和实际游戏场景集合起来,使聊天更加沉浸。同时,完美解决了手机游戏开启语音后,音质下降的问题。
  • 支撑游戏产品特性功能:小队语音,语义消息,3d语音、语音鉴黄、录制、多国离线语音转文本等
  • 支持大房间10W+用户在同一房间

2. 游戏场景深度优化,关键技术指标业内领先

GME基于多媒体实验室自研的静音检测、自动增益控制、回声抵消、噪声抑制以及智能流控算法。针对游戏场景的音频编解码器进行深度优化在码率、延时、系统资源消耗等关键技术指标达到业界领先。

(1)GME体验为先,保证低延迟、高抗性、低消耗:

GME在不同场景下提供不同的音质体验和不同的抗网络损伤技术,力求给用户带来最佳的游戏体验,主要体现在:

  • 低延迟:实时语音音质在网络无损的场景下的平均MOS分达到4.38(满分5分),平均延时低于200ms。
  • 高抗性:通过先进的丢包恢复技术,丢包补偿算法以及优秀的网络抗性,即使在50%以上丢包、100ms的网络抖动下,也能保持顺畅的沟通和很好的音质。
  • 资源消耗低:例如MOBA类游戏中,在保证正常的语音沟通和良好的性能前提下,移动网络模式每分钟流量消耗低于500KB,CPU占用率平均在10% 以下等。

(2)GME 音频处理流及SDK技术实现

a) GME中音频数据流处理流程,如下图所示:

A. 采集端的数据流: Cap负责采集音频数据 —-> EC节点负责回声消除和降噪 —-> 到Prep模块做AGC与VAD —-> Aux In模块混入伴奏 —-> Enc模块编码 —-> 包头和FEC 编码 —-> NetSink发送数据。

B. 接收端的数据流: NetSrc收到TRAE层的数据包 —-> DMX按UIN解析为多路不同的数据 —-> 每路数据都有解码链来处理(包含FEC解码、包头解码、Jitter缓存区中缓存)。

C. 播放端的数据流: Rnd负责拉取PCM数据播放 —-> 通过TEE节点把播放数据同步EC 的参考信号 —-> 通过mix混音拉取各路Jitter缓存的数据并解码 —-> 然后获取PCM数据进行混音。

D. 伴奏的数据流: 通过Aux Src从外部传入, 可以给到播放的Mix作为耳返播放, 也可以给到Aux In作为伴奏数据混音发送给远端其他用户。

音频数据流处理流程

b) GME 客户端SDK架构

GME为了支持多平台多引擎,故架构设计上考虑了跨平台通用业务逻辑以及平台相关处理逻辑以及针对不同平台和不同游戏引擎进行了针对性的接口封装,在提供了对多平台可支持性的同时增强了GME SDK本身的易用性。

  • 硬件及编解码层,主要针对不同设备平台进行封装适配,并提供平台相关的编码器供上层使用。
  • 业务逻辑层,使用C++跨平台实现,对业务逻辑进行封装,包括网络与协议。
  • 适配层,提供了针对不同平台、不同程序语言和游戏引擎的适配封装,方便开发者调用。

3. 腾讯云顶级基础设施,为语音服务保驾护航

(1)稳定的云支撑环境

GME基于腾讯云自建万兆云机房,全球覆盖,配备20线BGP顶级网络,800+节点让玩家畅享稳定而极速的体验。

(2)灵活多层次的调度系统

GME后台调度支持系统,能支持:

  • 亿级用户在线,亿级群数规模;实时监控,异地容灾,智能调度,保证服务安全可靠
  • 专业网络接入:复用 QQ 接入部署和调度策略,有效解决弱网络环境下的连通问题,连通率高达 99.995% ;
  • 超强服务承载:承载 QQ 服务支撑能力,支持亿级用户在线,亿级群数规模;实时监控,异地容灾,智能调度,保证服务安全可靠;

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【预约中】腾讯云GME技术方案介绍

    游戏多媒体引擎(Game Multimedia Engine,GME)提供一站式语音解决方案。针对不同场景进行深度优化,覆盖游戏、社交、娱乐等多种泛互联网行业应...

    云加直播
  • 腾讯云游戏多媒体解决方案

    说到音频,就不得不说腾讯音视频实验室了,腾讯音视频实验室,成立于2010年,八年间专注于音视频通信技术的前瞻性研究,包括全球实时音视频网络优化、音视频编解码前沿...

    Techeek
  • 解析腾讯云游戏多媒体引擎GME技术方案

    在网络游戏中,无论是大逃杀、棋牌类、电子竞技类还是娱乐休闲类小游戏,玩家和玩家之间的互动和语音聊天都是一个必不可少的环节。作为一个通用的技术需求,如果由游戏厂商...

    云加直播
  • 【预约中】腾讯云GME之网络编解码

    游戏多媒体引擎(Game Multimedia Engine,GME)提供一站式语音解决方案。针对不同场景进行深度优化,覆盖游戏、社交、娱乐等多种泛互联网行业应...

    云加直播
  • 聚焦小游戏,腾讯云Game-Tech技术沙龙北京站完美落幕

    8月25日腾讯云Game-Tech技术沙龙在北京举办,腾讯云资深专家与知名游戏引擎Layabox的大咖为游戏行业同仁们带来以“小游戏”为主题的开发技术分享会。来...

    腾讯游戏云
  • 腾讯多媒体实验室受邀参加Audiokinetic Wwise全球巡演会,展示游戏语音和音频解决方案

    近日,腾讯多媒体实验室受邀参加Audiokinetic Wwise全球巡演会。巡演会上,腾讯多媒体实验室团队展示了游戏多媒体引擎(GME)联合解决方案。该解决...

    腾讯多媒体实验室
  • 聚焦小游戏:腾讯云 Game-Tech 技术沙龙成都站完美落幕

    据11月份阿拉丁指数微信小程序TOP100排行榜显示,小游戏类别占比超过30%,继续蝉联上榜数量最多的类别,玩家与开发者对小游戏的热度持续增加。

    腾讯游戏云
  • 分享实录 | 技术更迭视角下的游戏语音新玩法

    5月26日,2021 IGS·全球数字文创发展大会“腾讯云·游戏&新文娱分论坛”在成都成功落幕。在本次论坛中,腾讯云游戏多媒体引擎(GME)高级产品经理郑丁益进...

    游戏多媒体引擎GME
  • 内行看门道:看似“佛系”的《QQ炫舞手游》,背后的音频技术一点都不简单

    3月14日,腾讯旗下知名手游《QQ炫舞》正式上线各大应用商店,并迅速登上App Store免费游戏总榜第一位。作为一代玩家的青春记忆,早在游戏发布前,《QQ炫舞...

    腾讯游戏云

扫码关注云+社区

领取腾讯云代金券