canvas / webgl 测试数据稳定性专项优化优秀实践

作者:高苡新 团队:腾讯移动品质中心TMQ

背景

Canvas/webgl测试的是浏览器内核的渲染能力。通常会选取一些业界常用的测试页面作为测试用例,例如:

图1webgl测试页面截图

Canvas/webgl测试从列入TBS(腾讯浏览服务)上线前性能测试以来,就一直存在测试数据不稳定问题。初期采用购置小风扇、增加冷却时间、编写重测页面等方法解决问题,效果并不理想。时不时还是会出现测试结果发现性能落后,但开发跟进分析后发现是测试数据波动导致的误报的情况。这种情况对测试和开发同学的工作效率都造成影响。

问题定位

TBS(腾讯浏览服务英文缩写)3.3的上线前性能测试再次测得webgl落后。webglspacerocks用例落后上一版本(TBS3.2)2.59帧。但经过开发定位问题,发现依然是数据波动导致的误报。

图2webgl性能测试结果

这次,开发同学和测试同学决定刨根问底找到影响数据波动的根本原因。

通过perfMon性能监控工具,我们发现发热导致的cpu降频和cpu关闭是影响测试结果的主要原因。

图3开发定位问题邮件内容

解决办法

为此,测试组专门购置了性能优越的笔记本散热风扇来给测试手机降温。

图4笔记本散热风扇

初步验证发现效果良好(下面一段文字为邮件内容节选):

“本周blink3.0 canvas/webgl性能日常监控结果:

数据基本稳定。在增加了散热器与小风扇辅助散热之后,三部手机的测试结果均接近3、4月份结果且多多少少有所提升,无重测项。”

优化效果

日常监控历史记录可以看到优化前后的效果:

1、6个用例的波动范围都不同程度缩小。其中GUIMark3 GM3_JS_Compute的波动从9帧缩小为0.2帧。

图5优化前后数据波动范围对比

2、之前经常要重测的用例,如今不再需要重测。目前重测概率为0。

图6优化前后重测记录

注:当监控数据和上一次相差2帧或以上时需要重测。

规范“有效落后”门限值

注:达到该门限值才认为是有效落后,开发跟进分析。

6个用例当中,GUIMark3 GM3_JS_Compute的波动最大。所以我们对GUIMark3 GM3_JS_Compute进行了4次测试(每次10组测试值)验证数据波动范围:

图7优化后数据波动情况

图8优化后数据波动情况

结论:

1、单次测试10组数据的最大最小值偏差月1帧;

2、多次测试10组数据的平均值波动在0.5帧左右;

3、多次测试所有数据的最大最小值偏差1.95帧。

基于以上测试结果,制定不同用例的“有效落后”门限值如下:

图9根据数据波动验证结果制定“有效落后”门限值

搜索微信公众号:腾讯移动品质中心TMQ,获取更多测试干货!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ThoughtWorks

#TWer 好读书 读好书# 美丽的架构

美丽的架构 文/张逸 美丽的架构究竟是怎样的?架构师们上下求索,孜孜以求,始终不得其解。归根结底,美丽这个词语总还是偏于感性认识,就仿佛音乐之美,绘画之美,不能...

2615
来自专栏CreateAMind

雷达摄像头多传感器数据融合检测

Multi-View 3D Object Detection Network for Autonomous Driving Xiaozhi Chen, Huim...

781
来自专栏DT数据侠

地铁故障频发,看数据如何找到肇事元凶

轨道交通事故频发,但真正原因却不得而知。本文数据侠通过科学的数据分析,为我们提供了更多排查方法,一起来涨涨姿势吧~

840
来自专栏开源优测

大数据测试学习笔记之测试工具集

这是2018年度业余主要学习和研究的方向的笔记:大数据测试 整个学习笔记以短文为主,记录一些关键信息和思考 预计每周一篇短文进行记录,可能是理论、概念、技术、工...

3255
来自专栏斑斓

美丽的架构

美丽的架构究竟是怎样的?架构师们上下求索,孜孜以求,始终不得其解。归根结底,美丽这个词语总还是偏于感性认识,就仿佛音乐之美,绘画之美,不能以尺度来衡量,追求的其...

3314
来自专栏PPV课数据科学社区

python实现地址分布可视化

当你知道某些详细地址信息,该如何利用。本文通过调用百度地图接口,实现用户可视化展示,便于更清楚地了解用户。 注册百度地图开放平台帐号 首先先到http://de...

2674
来自专栏大数据和云计算技术

大数据和云计算技术周报(第53期)

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

624
来自专栏CSDN技术头条

程序员等电梯时竟然想这事儿

今天就为大家科普一下电梯调度算法,为在等电梯之余,打发时间做出一点贡献。(电梯调度算法可以参考各种硬盘换道算法,下面内容整理自网络)

1084
来自专栏新智元

OpenAI 开源集成自驾开发环境 Universe+GTA V,含代码及预训练 AI 代理

由 Craig Quite 的 DeepDrive 项目搭建和维护的、加入了 Grand Theft Auto V 的 Universe(OpenAI 的人工智...

37113
来自专栏大数据挖掘DT机器学习

Python文本挖掘:知乎网友如何评价《人民的名义》

文本分析使用愈来愈广泛,包括对新闻、电视剧、书籍、评论等等方面的文本挖掘并进行分析,可以深入找到表面文字看不到的细节。 介于《人民的名义》这部剧这么火,本人...

3435

扫码关注云+社区