天下大事必作于细,聊聊腾讯兼容测试的升级“打怪”历程

作者:lane,腾讯适配测试负责人、WeTest专家兼容测试负责人

WeTest 导读

互联网产品测试,测试的是产品质量,但也同时考验着测试者的质量。

什么是兼容性测试?指的是设计程序与硬件、软件之间的兼容性的测试,考验的是程序,软件,硬件三者的能力,缺一不可。而什么是好的兼容测试?我个人理解是一个双向检验的过程:“测试产品质量的同时,也在考验测试者的质量”。只有当两个“质量”都达标的时候,才是真正的测试通过。

天下大事必作于细,我们从基础环节便严格要求,围绕质量高于一切的理念打造精品兼容服务。以下跟大家分享一下腾讯游戏兼容测试一步步走来的经历。

一、腾讯游戏兼容测试的源起

腾讯最早做兼容性测试其实是在端游时代,目标是为了给腾讯产品建立一道专业的测试防线,保证产品兼容性方面的质量。兼容测试可以说是见证了英雄联盟、天天爱消除、王者荣耀这些里程碑式的游戏崛起,也在路上修炼了自己的功力。兼容测试根据服务对象和测试内容可分为2大类:PC端的兼容测试和移动端兼容测试。两者之间有着天壤之别,最大差别就是测试环境,PC端游的玩家环境相对简单集中,所以兼容性测试环境易搭建,流程简单并且覆盖面广,所以,在功能测试通过后,兼容性暴露出的问题往往并不严重。以下主要介绍下腾讯移动兼容性测试团队是如何运作的。

二、建立最有效的Top用户机型库

从2011年手游市场起步,手机用户数量增长,每年超过1000款新机型的上市,安卓碎片化问题严重,移动游戏对兼容测试的服务需求越来越强。腾讯移动兼容性团队也随着不断调整和更新测试角度、方法和范围,投入专业测试人力,帮助产品发现和规避兼容性缺陷;

为了保障兼容性测试的有效性,甄选最能代表市场的测试设备成为了团队面临的第一个问题。测试设备选择需要一个科学的范围,很多人觉得测试设备越多越好,在不考虑其他成本的情况下这的确是一个无限接近正确的答案。而事实上这是一个不可能完成的任务,投入越多测试设备,测试成本的边际效应表现越明显。

通过腾讯游戏大数据对机型和缺陷进行统计,我们选择了TOP100的测试范围,这部分机型在市场占比接近60%,兼容性缺陷触发率在70%左右,硬件和品牌覆盖面完整,此外,这部分设备上发现的问题有一定代表性,也便于开发更有效地修复和解决问题,性价比综合评定下最高。在服务腾讯游戏的过程中也获得了项目组的认可,最终被应用到腾讯游戏的测试标准中。

为了保障每次测试项目组都可以拿到有效的Top机型,我们会定时采购来匹配动态变化中的Top机型库。除此以外,我们还会有针对性地去采购新上市机型,以便满足游戏的特殊需求,同时根据经验来调整测试范围。

三、“质量>效率”的测试坚持

腾讯兼容性测试团队大部分使用人工测试,其实测试成本非常高。

所以在早期,因为团队人力紧张,排期有压力的时候,我们也考虑过采购第三方自动化兼容测试服务。但实际用下来,效果上有几点比较难受:

1. 问题的准确性、完整性不足

我们团队反馈问题必须要求验证必现性,>5次100%出现才会归类为必现,还需反馈信息完整并且会根据市场占比评估出当前缺陷影响的人数范围,提出建议性的优先处理等级;而第三方服务会提出非常多的问题,需要测试投入精力去甄选出真正有效的问题,反而增加了确认工作的人力成本消耗。

2、测试深度较浅,核心功能很难覆盖

第三方服务一般会测试到新手引导,但其实腾讯游戏对兼容测试的需要至少是覆盖核心功能和主要场景的。

3、无法实现复杂操作

专业测试人员对缺陷的敏感度高,对缺陷定位准确。可以实现复杂操作步骤,如动作类、竞速类或随机事件。对音效、重力感应、AR/VR、智能玩具测试上无可替代。

整体评估下来效率有提升,但服务效果会有比较大的下滑。为了保障游戏测试的品质,也响应公司精品游戏的战略,在效率和质量2者中,我们最终选择了质量。我们愿意花更多的时间和成本把效果做好。

虽然兼容测试以人工测试为主,但我们始终也没有放弃对效率的追逐,团队其实也一直在研究自动化测试方案。其中,包括可以快速验证兼容的标准兼容测试,保障人工测试品质同时提高测试效率的多机同步助手;针对一些项目组提来的重度兼容需求,例如《王者荣耀》的5v5自动化测试,我们还针对性研发了GAutomator框架,获得Unity官方推荐,也是目前腾讯unity游戏的标配框架,被应用在《火影忍者》、《龙之谷》等众多项目的各种测试场景中。

多机同步助手演示效果视频地址:https://v.qq.com/x/page/s03936my587.html

GAutomator框架示意图

目前,腾讯移动兼容性测试团队除了负责腾讯所有游戏的兼容性质量,也通过WeTest平台向外部开发者开放了同品质的兼容性测试服务。

然而这却并不是腾讯兼容团队和WeTest兼容服务努力的终点,我们期待着将越来越智能的测试AI深度介入游戏测试的各个环节,让云端化的游戏测试成为一件可以随时触发的自动化流水工作。通过技术的力量解放开发者,专注体验做出更好的产品,最终实现“You Create,We Test”。

商业转载请联系腾讯WeTest获得授权,非商业转载请注明出处。

原文链接:http://wetest.qq.com/lab/view/305.html

欢迎对兼容性测试同样精益求精的同行们来体验服务,共同交流。

点击链接即可使用专家兼容测试服务:http://wetest.qq.com/product/expert-compatibility-testing

如果对使用当中有任何疑问,欢迎联系腾讯WeTest企业qq:800024531

亲爱的读者,为了能够提供更好的网站内容,希望您填写我们的问卷,我们会随机抽取读者回馈20Q币以示感谢!问卷入口:https://wj.qq.com/s/1221194/26ad

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云计算D1net

多重云的崛起:如何在部署中取得成功

多重云已经在云计算产业中讨论了一段时间,但仍有困惑,什么是多重云?它适合私有云、公有云还是混合云? 最一致的结论是:多重云从不同的云提供商混合和匹配最好的解决方...

2574

个人云简介

试想有一个死气沉沉没有窗户的房间,里面装满了大量的金属机器。所有的东西都用多色的电线钩在一起,并且被大量随机闪烁的灯泡覆盖着。你会用什么比喻来形容?很大可能,你...

18810
来自专栏云计算D1net

运营商发展移动云计算 三大能力面临考验

云计算正在从1.0时代迈向更加成熟、更加实用的2.0时代。今天,云计算的概念已经深入人心,云计算产品和应用层出不穷,云计算和移动互联网的融合也加速。如果说云计算...

41910
来自专栏知晓程序

从零开始,这个产品经理手把手教你做小程序

我能做的就是,做好手头的事情确保,就算这事对公司来说又黄了,我也要通过这事有所收获。

401
来自专栏DevOps时代的专栏

DevOps 转型,只有工具是远远不够的!

? 敏捷软件开发已经打破了需求分析、测试、开发之间的壁垒。在软件开发流程中,开发与运维之间面临着相同的隔离问题。DevOps运动的目标就是打破开发与运维之间的...

1986
来自专栏Java架构师学习

淘汰?不存在的!Java程序员如何避免职业危机五、项目实战

Java行业在当下人才是供不应求,但是作为[Java程序员]的你也得居安思危,你要知道你身处的是一个高速变化的行业,稍不留意你的位置还是存在被取代的风险,那么对...

3325
来自专栏云计算D1net

成功案例研究:混合云到底应该怎么搞?

混合云计算一向被誉为是企业IT基础设施的未来之道。这种混合模式让任何企业都能较之对手获得竞争优势。采用混合云的理由各不相同,通常包括如下: 可扩展性方面更高的要...

2554
来自专栏ATYUN订阅号

【业界】重大消息!Adobe收购了语音应用平台Sayspring

Adobe今天宣布:其已经收购了Sayspring语音应用平台,该平台允许用户设计、构建语音应用程序的原型,比如Alexa技能或谷歌智能助理操作。但Adobe拒...

1013
来自专栏云计算D1net

逐个击破关于云计算的十个讹传

随着云技术的采用率不断攀升,很多企业在思考云技术是否是企业的未来归属时,很难辨别真假。下面让我们澄清与云技术相关的一些误解。 1)要么全在云端,要么全都不在。...

2657
来自专栏Java学习网

移动应用开发的五个致命的神话

虽然手机应用程序开发不再是新的,仍然有许多误解应用发展。一些信仰只不过是被误导的,别人是错了。 当企业和企业家把时间和金钱浪费在没有人使用的应用程序,通常因为他...

2649

扫码关注云+社区