canvas / webgl 测试数据稳定性专项优化优秀实践

作者:高苡新 团队:腾讯移动品质中心TMQ

背景

Canvas/webgl测试的是浏览器内核的渲染能力。通常会选取一些业界常用的测试页面作为测试用例,例如:

图1webgl测试页面截图

Canvas/webgl测试从列入TBS(腾讯浏览服务)上线前性能测试以来,就一直存在测试数据不稳定问题。初期采用购置小风扇、增加冷却时间、编写重测页面等方法解决问题,效果并不理想。时不时还是会出现测试结果发现性能落后,但开发跟进分析后发现是测试数据波动导致的误报的情况。这种情况对测试和开发同学的工作效率都造成影响。

问题定位

TBS(腾讯浏览服务英文缩写)3.3的上线前性能测试再次测得webgl落后。webglspacerocks用例落后上一版本(TBS3.2)2.59帧。但经过开发定位问题,发现依然是数据波动导致的误报。

图2webgl性能测试结果

这次,开发同学和测试同学决定刨根问底找到影响数据波动的根本原因。

通过perfMon性能监控工具,我们发现发热导致的cpu降频和cpu关闭是影响测试结果的主要原因。

图3开发定位问题邮件内容

解决办法

为此,测试组专门购置了性能优越的笔记本散热风扇来给测试手机降温。

图4笔记本散热风扇

初步验证发现效果良好(下面一段文字为邮件内容节选):

“本周blink3.0 canvas/webgl性能日常监控结果:

数据基本稳定。在增加了散热器与小风扇辅助散热之后,三部手机的测试结果均接近3、4月份结果且多多少少有所提升,无重测项。”

优化效果

日常监控历史记录可以看到优化前后的效果:

1、6个用例的波动范围都不同程度缩小。其中GUIMark3 GM3_JS_Compute的波动从9帧缩小为0.2帧。

图5优化前后数据波动范围对比

2、之前经常要重测的用例,如今不再需要重测。目前重测概率为0。

图6优化前后重测记录

注:当监控数据和上一次相差2帧或以上时需要重测。

规范“有效落后”门限值

注:达到该门限值才认为是有效落后,开发跟进分析。

6个用例当中,GUIMark3 GM3_JS_Compute的波动最大。所以我们对GUIMark3 GM3_JS_Compute进行了4次测试(每次10组测试值)验证数据波动范围:

图7优化后数据波动情况

图8优化后数据波动情况

结论:

1、单次测试10组数据的最大最小值偏差月1帧;

2、多次测试10组数据的平均值波动在0.5帧左右;

3、多次测试所有数据的最大最小值偏差1.95帧。

基于以上测试结果,制定不同用例的“有效落后”门限值如下:

图9根据数据波动验证结果制定“有效落后”门限值

搜索微信公众号:腾讯移动品质中心TMQ,获取更多测试干货!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏镁客网

黑客随时入侵!看了这个,你还敢用Android手机吗?

27460
来自专栏郭润增的专栏

微信支付:如何打造移动支付时代的高可用收银系统?

移动支付时代,越来越多的人习惯于不带现金出门,许多支付场景只需要掏出手机就能完成。正因为如此,收银系统的可用性问题也越来越重要。如何打造移动支付时代的高可用收银...

1.2K00
来自专栏Youngxj

web安全思维图

20190
来自专栏FreeBuf

网络钓鱼威胁增大,财富500强公司继续成为支付欺诈对象

IBM发布警告称,他们近期发现犯罪分子正在发起针对财富500强企业财务人员的网络钓鱼欺诈互动,通过网络欺诈诱导受害者汇款。攻击者通过入侵员工邮箱或身份伪造发起钓...

26080
来自专栏FreeBuf

网络空间搜索引擎全方位评测

从前有座山,山上有座庙,庙里有个老和尚和小和尚……这个简短无尽的儿童故事是很多人都知晓的,整个故事从开头就定义了空间的概念,让我们能够清楚的知道老和尚和小和尚在...

57980
来自专栏FreeBuf

钓鱼攻防对抗战的今日现状:防守方完全落后挨打

网络钓鱼主要用来骗取个人敏感信息,从而用于一些恶意目的。今天主要谈钓鱼用来做金融欺诈和身份盗窃的行为,包括对网银、购物等欺诈行为。随着上网人群的增多,钓鱼潜在...

23850
来自专栏FreeBuf

ProjectSauron/Strider | 顶级的网络间谍平台暗中窃取政府加密通讯数据

一. 简介 在过去几年间,媒体报道的“APT相关”事件数量已呈显著增长趋势。但是,对于其中一些事件而言,“APT”(即高级持续性威胁)存在被夸大的成分。 除一些...

21560
来自专栏FreeBuf

安卓曝大漏洞:一条彩信可控制手机,影响95%设备

以色列移动信息安全公司 Zimperium 研究人员 Joshua Drake 在 Android 系统中发现了多处安全漏洞,Android 2.2到5.1的所...

26170
来自专栏FreeBuf

追踪、定位、监听一个也不能少:最强悍的监控间谍软件FlexiSPY源码泄露

4月22日,黑客FlexiDie公布了大量来自监控软件厂商FlexiSPY的文件,泄露的文件包括源码和一些内部文档。 这家监控公司其实是一家总部位于泰国(...

859100
来自专栏耕耘实录

装机不求人,小白装机注意事项

版权声明:本文为耕耘实录原创文章,各大自媒体平台同步更新。欢迎转载,转载请注明出处,谢谢。

11340

扫码关注云+社区

领取腾讯云代金券