canvas / webgl 测试数据稳定性专项优化优秀实践

作者:高苡新 团队:腾讯移动品质中心TMQ

背景

Canvas/webgl测试的是浏览器内核的渲染能力。通常会选取一些业界常用的测试页面作为测试用例,例如:

图1webgl测试页面截图

Canvas/webgl测试从列入TBS(腾讯浏览服务)上线前性能测试以来,就一直存在测试数据不稳定问题。初期采用购置小风扇、增加冷却时间、编写重测页面等方法解决问题,效果并不理想。时不时还是会出现测试结果发现性能落后,但开发跟进分析后发现是测试数据波动导致的误报的情况。这种情况对测试和开发同学的工作效率都造成影响。

问题定位

TBS(腾讯浏览服务英文缩写)3.3的上线前性能测试再次测得webgl落后。webglspacerocks用例落后上一版本(TBS3.2)2.59帧。但经过开发定位问题,发现依然是数据波动导致的误报。

图2webgl性能测试结果

这次,开发同学和测试同学决定刨根问底找到影响数据波动的根本原因。

通过perfMon性能监控工具,我们发现发热导致的cpu降频和cpu关闭是影响测试结果的主要原因。

图3开发定位问题邮件内容

解决办法

为此,测试组专门购置了性能优越的笔记本散热风扇来给测试手机降温。

图4笔记本散热风扇

初步验证发现效果良好(下面一段文字为邮件内容节选):

“本周blink3.0 canvas/webgl性能日常监控结果:

数据基本稳定。在增加了散热器与小风扇辅助散热之后,三部手机的测试结果均接近3、4月份结果且多多少少有所提升,无重测项。”

优化效果

日常监控历史记录可以看到优化前后的效果:

1、6个用例的波动范围都不同程度缩小。其中GUIMark3 GM3_JS_Compute的波动从9帧缩小为0.2帧。

图5优化前后数据波动范围对比

2、之前经常要重测的用例,如今不再需要重测。目前重测概率为0。

图6优化前后重测记录

注:当监控数据和上一次相差2帧或以上时需要重测。

规范“有效落后”门限值

注:达到该门限值才认为是有效落后,开发跟进分析。

6个用例当中,GUIMark3 GM3_JS_Compute的波动最大。所以我们对GUIMark3 GM3_JS_Compute进行了4次测试(每次10组测试值)验证数据波动范围:

图7优化后数据波动情况

图8优化后数据波动情况

结论:

1、单次测试10组数据的最大最小值偏差月1帧;

2、多次测试10组数据的平均值波动在0.5帧左右;

3、多次测试所有数据的最大最小值偏差1.95帧。

基于以上测试结果,制定不同用例的“有效落后”门限值如下:

图9根据数据波动验证结果制定“有效落后”门限值

搜索微信公众号:腾讯移动品质中心TMQ,获取更多测试干货!

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【V课堂】数据挖掘知识脉络与资源整理(三)—SAS

简介: SAS(全称STATISTICAL ANALYSIS SYSTEM,简称SAS)是全球最大的软件公司之一,是由美国NORTH CAROLINA州立大学...

2316
来自专栏ThoughtWorks

TW洞见〡软件缺陷的有效管理

文章作者来自ThoughtWorks:林冰玉,图片来自网络。 “这次发布之前怎么这么多的缺陷,是不是需要分析一下啊?” 答案是肯定的,可是这个时候才想起要分...

2527
来自专栏腾讯移动品质中心TMQ的专栏

腾讯TMQ沙龙|移动互联网APP应用的服务端测试方案和实践

移动互联网APP应用的服务端测试方案和实践 活动时间:2016年9月8日 QQ群视频交流 活动介绍:TMQ在线沙龙第八期分享 本次分享的主题是介绍移动互联网AP...

1865
来自专栏星流全栈

还在纠结 Flux 或 Relay,或许 Redux 更适合你

1736
来自专栏挖掘大数据

最佳实践分析:IBM Cognos 11如何链接Hadoop

大数据标志着业务分析的新时代到来,各商业组织现在有机会就数据在容量、速度和多样性的传统处理能力不足问题上作出更加明智的决策。IBM 具有得天独厚的优势, 可以提...

18610
来自专栏软件测试经验与教训

网上看到的面试题,我忍不住吐槽....

3368
来自专栏程序员的SOD蜜

“领域驱动开发”实例之旅(1)--不一样的开发模式      一、分析业务需求。    二、设计领域对象模型    三、测试领域对象模型    四、设计业务处理类    五、设计Entity和Vi

    听说DDD-“领域驱动开发”已经很久了,园子里面已经有不少大牛写过博文介绍,但我一直没有尝试过,直到今年公司的一个项目出现数据库移植,原来的业务逻辑都写...

2187
来自专栏哲学驱动设计

OEA中的AutoUI重构(3)- 评审会议后的设计

    上篇文章《OEA中的AutoUI重构(2)- 评审会议前的总体设计》写了在“OEA框架”中进行AutoUI模块重构的设计方案。最近项目组已经召开了评审会...

1746
来自专栏IT派

2018 年 4 月全球数据库排名:PostgreSQL 略有下降

DB-Engines 发布了 2018 年 4 月份的数据库排名,排名前三的依然是 Oracle、MySQL 和 Microsoft SQL Server 。

850
来自专栏颇忒脱的技术博客

如何抽取公共服务并成功迁移

在单体到微服务架构的迁移过程中,我们经常会问一个问题:在什么情况下我需要从单体中剥离一部分出来将其作为一个微服务?答案有很多,其中有一个答案就是:我发现好多单体...

252

扫码关注云+社区