日新进用户200W+,解密《龙之谷》手游背后的压测故事

2017年3月,腾讯正式于全平台上线了《龙之谷》手游,次日冲到了App Store畅销排行第二的位置,并维持到了现在。上线当日百度指数超过40万,微信游戏平台数据显示预约数780多万,而据内部人员透露当日新进用户200W+,这就是《龙之谷》手游在安卓平台上所取得的成绩。

较高的市场期待让腾讯测试团队对《龙之谷》手游的测试倾尽全力,面对“经典IP”和盛大游戏一贯口碑,腾讯测试团队对游戏服务器进行了严格的压力测试,上线后服务器稳定的表现也证明了测试团队的用心没有白费。

本文记录了《龙之谷》手游压测过程中的点点滴滴,希望给其他手游的压测提供思路、方法和工具的借鉴。

一、项目背景

测试需求产生

《龙之谷》手游初期性能并不好,无法同时支持大量玩家同时进行游戏,存在卡顿、无法登录、掉线等一系列性能问题。无论从玩家流失率的降低,还是游戏体验的提升,针对该游戏的性能测试迫在眉睫。

技术难点

为了产生足够的服务器压力,《龙之谷》手游测试团队选择与 腾讯WeTest合作,使用了其服务器性能测试专家模式的代码开发,产生与客户端行为相似的机器人对游戏服务器产生压力,并且有针对性的配置机器人的行为用于测试容易产生问题的场景,可视化的获取性能数据后进行分析。

由于机器人侧需要模拟客户端的逻辑向服务器进行发包,所以必须理解其游戏协议并融入腾讯WeTest测试框架中,在腾讯WeTest专家的帮助下,使用针对google protobuf协议的代码模板自动化生成工具,成功实现模拟客户端的机器人开发,并产生最高每秒并发上万的压力。

另一方面,由于游戏比较重度,压测的场景选择与用户的行为分析也成为难题。在专家的建议下,通过分析删档测试时服务器各协议频率数据,分别按协议比率的多少、处理时间长短、筛选出待测的场景与重点协议。主要针对登录、好友、交易所、主城、语音、单人pk、英雄战场、赛马、世界boss、在线副本以及数据库等进行了重点调试及压力测试。

二、实现方案

测试的目标

容量测试:

√ 单服并发用户数:XXX人

√ 各协议响应时间:<1秒

√ 事务成功率:>99.9%

稳定性测试:

综合场景压测48小时无问题,关注各系统资源稳定性

关键场景压力测试:

√ 登录、主城、世界boss等

√ 各协议响应时间:<1秒

√ 事务成功率:>99.9%

测试前的分析

一般压测模型由三部分组成,机器人、服务器和数据库,游戏服务器主要是优化热点游戏逻辑、协议栈参数、系统网络参数、同步机制等。数据库是优化sql语句,优化索引,优化数据存储等。机器人部分由平台自动分配压力机,如未产生明显bug,无需进行调优。

在架构分析之后,需要构建机器人模型,模型构建方法一般是根据研发打点数据,统计在一段时间内,删档服各单个协议总数与耗时并计算压力值与百分比:

示例数据如下:

删档服不同时间点各单个协议总数与耗时并计算压力值与百分比示例

需要注意的是,除了关注占比靠前的协议进行调试,另外需关注平均耗时较长的协议中逻辑是否存在优化空间,因此该类耗时较长的协议也在测试范围之内。

在获取模型并开发完机器人之后,可以通过腾讯WeTest服务器性能测试产生压力,通过其提供的网卡性能图中包量和流量的分析来判断压力机器人模型是否有效反应了真实玩家的行为。

主要的测试功能

● 登录、创建角色、进主城、新手引导压测

● 主城移动、聊天、做任务、装备升级压测

● 好友操作、技能升级、副本战斗、世界boss压测

● PVP、PVE、天空竞技场、活动压测

● 组队、购买物品、抽宠物、交易所、公会压测

● 针对以上场景的综合压测

测试中遇到的问题

类型一:单协议场景支持并发过低,该类场景集中触发时,会发生同服玩家卡顿、无法登录游戏、掉线等问题。如登录、技能升级、装备强化等。

类型二:部分热点场景如主城、世界boss支持人数不足,易发生玩家集体卡顿、掉线等问题。

类型三:其他在高并发长时间运行下容易出现的问题:缓冲区不足、进程崩溃、内存泄露等。

优化的方法

类型一:单场景问题排查

在机器人开发完毕后,可以通过腾讯WeTest服务器性能测试专家模式中的单场景测试,逐步增加场景压力,若发生:服务器进程cpu资源耗尽、回复消息过慢、回复消息失败,则表示服务器到达瓶颈,此时一般可通过系统工具(top、perf、iostat、vmstat等)排查热点逻辑,查看是否存在优化空间,或从逻辑机制上解决。

热点逻辑排查(业务名已隐去)

图中展示了简单场景中,QueryGate请求无法满足并发量100的要求,遇到这种情况,一般可以使用perf排查服务器热点逻辑进行优化。

类型二:容量测试问题排查

综合场景一般包括之前筛选出的所有场景,将所有玩家按照一定比例(比如60%在主城,40%在副本战斗),该比例一般可以通过不同场景下的心跳包频率比例看出。

主要会遇到的问题为:游戏卡顿、玩家掉线等,该类问题一般为客户端或服务器各进程资源遇到瓶颈所致。排查方法与单场景类似,不再过多描述。

(//blog-10039692.file.myqcloud.com/1490673569949_6733_1490673570238.png)

各场景的数据表现(事务名已隐去)

类型三:稳定性测试问题排查

稳定性测试中易出现服务器宕机、内存泄露等情况,针对服务器宕机,一般通过gdb分析core文件,并结合所测场景的机器人行为进行分析宕机原因。

通过查看稳定性测试中的内存变化曲线,可以判断服务器内存是否稳定或泄露,若发生泄露,一般可通过内存检测工具,如valgrind等对服务器进程进行排查。

三、最终效果

测试效果

解决各种宕机、卡顿、掉线问题:

测试期间共发现并修复各类卡顿、宕机、掉线、无法进行游戏等问题20余个,同时准确估算了线上玩家所产生的压力,为最终服务器的部署及稳定运行提供了性能保障与数据支撑。

解决需要多人参与、团战等场景的测试问题:

机器人程序可以用于需要大量用户参与的测试场景,进行自动化测试及验证该类场景是否可以在一定压力下稳定运行:如世界boss战,公会战、跨服擂台赛等。

录像效果

主城移动测试:https://v.qq.com/x/page/l03860ij85k.html

世界boss测试:https://v.qq.com/x/page/l0386whm8qt.html

英雄战场多人对战测试:https://v.qq.com/x/page/t0386qjnmtj.html

“外网问题无小事”,所幸这次《龙之谷》手游上线过程中没有出现常见的面对开服压力而服务器崩溃的事件,在这次的手游测试过程中也可以感受到游戏发行、渠道和CP对服务器承压情况越来越重视。

然而目前市场上还没有针对游戏的服务器性能检测工具,无论是开源还是商业软件都不能很好的满足游戏的专项测试需求,与此同时受限于开发周期短以及人力的问题,中小型CP往往采取编写模拟机器人进行简单的压测,测试的覆盖面窄,无法保证并发请求,造成潜伏的问题遗漏到线上。

此次腾讯测试团队正是利用腾讯WeTest的服务器性能测试功能实现模拟机器人的协议配置,最终实现了《龙之谷》手游的平稳上线。

目前腾讯WeTest的服务器性能测试功能已经开放对外,通过基于真实业务场景和用户行为进行压力测试,帮助游戏开发者发现服务器端的性能瓶颈,进行针对性的性能调优,降低服务器采购和维护成本,提高用户留存和转化率。

体验地址:http://wetest.qq.com/gaps/

如果对使用当中有任何疑问,欢迎联系腾讯WeTest企业qq:800024531

商业转载请联系 腾讯WeTest获得授权,非商业转载请注明出处。

原文链接:http://wetest.qq.com/lab/view/299.html

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员互动联盟

那些游戏外挂作者的技术与一般程序员比,谁更厉害?

游戏外挂和程序员相比有相通之处,也有极大的不同,游戏外挂属于游戏逆向,逆向类别的东西不确定性很强,不同游戏采用的外挂辅助也不一定相同,游戏辅助从类型上一般分为以...

643
来自专栏SAP最佳业务实践

从SAP最佳业务实践看企业管理(89)-PP-148无变式配置按订单生产MTO

PP148无变式配置按订单生产MTO 目的 此业务情景描述了对客户的标准销售流程(按单生产)的完整处理顺序。此业务流程包括从客户报价到收到付款后清算客户帐户的所...

3577
来自专栏SDNLAB

OPNFV第五版本Euphrates发布,集成容器化功能

OPNFV项目是通过集成,部署和测试促进各种开源生态系统网络功能虚拟化(NFV)组件的开发和演进的开源项目,今天宣布推出项目第五个平台版本的OPNFV幼发拉底河...

29411
来自专栏大魏分享(微信公众号:david-share)

从通过微信登录今日头条,看API的身份认证与授权 | API Management学习第六终结篇

API的计量与限速 | 将一个Web API纳入API管理 |API Management学习第二篇

1593
来自专栏郭耀华‘s Blog

Android开发者不可或缺的四大工具

Android开发者不可或缺的四大工具 android以其极强的开放性吸引着世界各地的开发者去开发各种各样的移动应用开发,而各种SDK更是为各个层次的开发者...

3467
来自专栏Golang语言社区

简单实用的网游服务器架构 - GameRes游戏新闻网

简单实用的网游服务器架构 此文并不是聚润堂所在公司当前运营的网游游戏服务器架构,而是在看过了近十个商业网游的架构,在现阶段心目中规划的简单实用的网游服务器架...

3065
来自专栏花叔的专栏

头号小游戏玩家 小游戏科普指南

参与小游戏首发计划,也正试着做一些别的小游戏,不总结点什么好像不大好,但一总结又发现好多内容,只好通过“2W1H”的方式来抛砖引玉一下(以下为科普内容): ? ...

2967
来自专栏WeTest质量开放平台团队的专栏

又崩溃了!服务器:“怪我咯?”

某公司新开发了一款大IP手游。上线之后不久,发现几十个人上线之后服务器就崩溃了。一开始还能用大量预算来购买服务器用以支撑,但几天之后由于宣传火爆,随着用户的增多...

712
来自专栏WeTest质量开放平台团队的专栏

日新进用户200W+,解密《龙之谷》手游背后的压测故事

作者吴雁林,腾讯高级测试开发工程师,5年服务器测试经验,曾负责保卫萝卜3,龙之谷服务器性能测试

632
来自专栏养码场

《王者荣耀》技术总监复盘回炉历程:没跨过这三座大山,就是另一款MOBA霸占市场了

来听听邓君站在技术视角对《王者荣耀》内部的解读:《王者荣耀》如何从从立项之初经历的惨淡时期到华丽的翻盘;它实际原理、问题和优化的思路,和现在见到大部分不同的技术...

922

扫码关注云+社区