机器学习实现录像分帧速度测试

作者:万宇

团队:腾讯移动品质中心TMQ

项目背景

浏览器测试组一直将录像分帧作为速度测试的重要手段之一。录像分帧具有结果简单直观,证据保存完好等优点。所以,虽然录像分帧在效率上比不上代码埋点,Hook等方法,但一直沿用至今。

2016年上半年开始,成都浏览器测试组进行主路径精细化测试,对各个常用场景的性能进行全面摸底测试。在浏览器Feeds流速度测试的时候,为了降低网络以及网页内容不同造成的误差,开发组建议一个场景进行300轮测试。如此多样的场景,加上如此多的轮数,庞大的数据量用人工或者简单自动化是无法处理的,我们必须要想新办法。

同时,深圳浏览器一直用摄像头视频分帧来进行网页速度测试,随着网页的变化,以前的自动化程序识别率逐步降低,也到了该更新的时候了。

项目现状

深圳网页速度测试,共2个关键帧,场景如下:

1、开始关键帧,通过查看屏幕上的白点来判断;

2、首屏完成关键帧, 通过查看下部网页是否铺满来判断。

成都feeds速度测试, 共3个关键帧, 场景如下:

1、开始,通过查看屏幕顶部的红蓝块变化,判断开始;

2、文字加载完成;

3、全部加载完成。

项目痛点

老方案的录像分帧速度测试,是由人工确定的”饱和度”算法,当页面铺满一定阈值的时候,确定为不同的状态。但这个方法也有明显的痛点。

1、饱和度阈值算法,必须针对具体的场景,由人工调试确定。

换一个场景,甚至网页发生了变化,必须重新人工调试阈值,如果场景一多,这是个较大的负担。而成都的主路径精细化测试,涉及到很多不同的场景,比如启动,比如多窗口,比如feeds流,比如下载等。

2、速度测试成都用的是屏幕录像,而深圳用的是摄像头。两者的视频质量差别很大,屏幕录像的饱和度和阈值,无法用在摄像头视频上,反之亦然。

所以,新方案必须要考虑下面两个因素:

(1)新方案必须可以运用在不同场景, 而无需重新开发;

(2)新方案必须可以同时适用于摄像头视频和屏幕录像视频。

今年上半年,google的阿尔法狗很火同样,我们的这个需求,也可以用阿尔法狗的原理来实现!

技术实现

通过采用有监督的模式,通过人工标注一些关键帧,然后机器学习这些人工标注的关键帧,是否就可以自动识别新的性能视频呢?我们开始着手尝试这个系统。

系统在Windows上实现,对于Windows开发,作者习惯使用C#,因此技术选型也基于C#。项目需要用到两个开源库。

1、图像处理库:Emgu.net,也就是OpenCV的C#封装,支持常用OpenCV视频,图片处理功能。

2、机器学习库:Accord.net,是在AForge.NET项目的基础上封装和进一步开发而来。因为AForge.NET更注重与一些底层和广度,而Accord.NET Framework更注重与机器学习算法以及提供计算机视频、音频、信号处理以及统计应用相关的解决方案。

有了现成的机器学习库和图像处理库以后,我们只需要编写程序,选择合适的特征维度,通过机器学习即可识别相应场景的图片。

整体流程如下:

那么,应该选择哪几个维度的特征呢?根据人的认知,结合项目实际,我们选择下面3个维度的特征。

1、变化区域:比如提取下面红框范围,表示两张图片之间的明显变化区域;

2、颜色直方图:颜色直方图永远都是图片处理的重要特征之一;

3、帧序列号:由于速度测试都是通过脚本进行,并不是人为点击,所以相同场景的时间轴都比较类似,比如点击按钮可能都在1.2s左右。 帧序列号都是第40帧左右。

提取特征以后,我们可以采用机器学习方法,比如神经网络,学习特定场景的特征。训练完成以后,即可以识别新的分帧图片。

效果

方案对比:

使用机器学习处理录像分帧以后,性能测试的效率明显提升。

搜索微信公众号:腾讯移动品质中心TMQ,获取更多测试干货!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习原理

实例(2)——音乐文件特征工程的提取音乐便签分类

21430
来自专栏大数据挖掘DT机器学习

Python实现基于SVM的股票预测

核心 因为是分类算法,因此不像ARIMA一样预测的是时序。分类就要有东西可分,因此将当日涨记为1,跌记为0,作为分类的依据。使用历史数据作为训练数据。 处理数据...

76460
来自专栏人工智能头条

在机器学习模型运行时保持高效的方法

13920
来自专栏CSDN技术头条

在机器学习模型运行时保持高效的方法

近来,很多人都面临这样一个问题:“机器学习脚本运行时,如何才能避免浪费时间或者拖延呢?”。 我认为这是一个非常好的问题,回答这个问题能显示组织水平和工作上的成熟...

21650
来自专栏AI科技评论

开发 | TensorFlow 1.0 要来了!它将带来哪些革命性变化?

在发布逾一周年之际,TensorFlow 终于将迎来史上最重大更新:TensorFlow 1.0。 对于不熟悉开源框架的读者,TensorFlow 是谷歌 20...

30160
来自专栏新智元

【深度】基于论文,对谷歌 TPU 的最全分析和专业评价

【新智元导读】本文以 Google 最新公开的 TPU 论文《在数据中心中对张量处理器进行性能分析》的译本为基础,对该论文及 TPU 进行了评价。 源起 2...

57840
来自专栏SDNLAB

基于无尺度网络模型的启发——一种新型数据中心架构的设想

无尺度网络(Scale Free Network),在网络理论中指的是一类有特定特征的网络。无尺度网络所具有的特征是:大部分节点只有极少的边连接,只有极小一部分...

336110
来自专栏技术翻译

关于TensorFlow你应该知道的9件事

TensorFlow是一个机器学习框架。如果你有大量的数据或你在人工智能中追求的最先进的东西,那么这个框架可能是你最好的选择:深度学习。

10800
来自专栏机器人网

机器人控制的基本方法

机器人的控制方法,根据控制量、控制算法的不同分为多种类型。下面分别针对不同的类型,介绍常用的机器人控制方法。 一、根据控制量分类 按照控制量所处空间的不同,...

43540
来自专栏QQ大数据团队的专栏

沙龙回顾 | 推荐系统 唯快不破

本次分享是神盾推荐系统中针对快数据应用场景的架构介绍,分为数据计算和数据分发两个部分。

22930

扫码关注云+社区

领取腾讯云代金券