机器学习在启动耗时测试中的应用及模型调优(一)

作者:熊玉辉, 腾讯OMG质量管理部 高级工程师

商业转载请联系腾讯WeTest获得授权,非商业转载请注明出处。

原文链接:http://wetest.qq.com/lab/view/392.html

WeTest 导读

=========

启动耗时自动化方案在关键帧识别时,常规的图像对比准确率很低。本文详细介绍了采用scikit-learn图片分类算法在启动耗时应用下的模型调优过程。在之后的续篇中将采用TensorFlow CNN、迁移学习等算法,给出对比识别效果


1、常规思路与困境


App启动、关键页面加载耗时是一个常规的性能指标,也是竞品对比的关键性指标。在耗时测试中,如何自动化识别关键图片至为关键。由于视频App启动过程广告、首页运营内容是分分钟变化的。在识别关键图片时,传统的基于灰度直方图+阈值的自动化对比方法行不通。

图片1.png

关键点:如何识别关键帧的自动化

Ø人工识别:耗时,费人力

Aphone610版本 3家竞品、14个场景,每个场景10次,2分钟1次 ,约14h ==2人天

Ø图像对比:灰度直方图+阈值(不可行)

1)整图对比:视频启动过程中的广告、首页海报是变化的

2)部分对比:app完整启动后第一屏不完全展示的地方,每次不一定在同一处

Ø埋点上报:结果准确性一直被质疑(不可行)

1)adb shell am start -W packageName/packageName.MainActivity获取

2)app埋点上报:代码里加埋点,首页加载完成后数据上报

2、为什么机器学习


启动速度关键帧图片识别,其实就是机器学习中常见的图片分类问题。当前图片分类算法和开源的代码库非常成熟,应用也屡见不鲜。之前在网上有浏览到一篇文章提到用机器学习实现耗时自动化的关键帧识别,眼前一亮,在此给出实现和调优过程。

3、实施方案


整体思路:

如下图所示,采用录屏软件+自动化脚本,完成启动过程录屏之后将视频拆成一系列图片帧。通过训练好的机器学习模型,识别出每一张图片所对应的启动过程,计算启动第一张图片到启动稳定后的总帧数,即可得出最终的启动时间。

图片2.png

样本与分类label设计

图片3.png

特征选择

常见的图像特征处理方法有:

1)原始像素特征扁平化

2)提取颜色直方图(使用cv2.normalize从HSV色域中提取一个3D颜色直方图并做平滑处理)

在本方案中,最开始首先选择方法(1)。即录屏视频分辨率为480p*720p,拆帧后压缩8倍,每个像素点3个数据表示,最终一张图片用16200 维列表表示——16200个特征,后续会对比3D颜色直方图作为特征进行对比。

第一批样本集

图片4.png

算法选择

在算法选择的过程中,依据“不要在算法选择上花费太多时间,先让你的模型run 起来” 以及 sklearn 官网算法选择引导,因为样本数1000+<100k,选择 SVM+线性核 入手。

图片5.png

4、模型调优实战


1)调优步骤

在机器学习中,如果遇到较大误差时,常见的模型调优方法不外乎:

增加样本 -----避免overfitting

选用更少的特征-----避免overfitting

获取更多的特征-----避免underfitting

调整模型,或者正则参数-----均可

当然在实现过程中,我们需要首先找出问题所在,不能盲目的增加样本或者减少参数。一般来说:

快速实现算法

plot learning curve

分析 error—sample 特征,选定要采取的手段

2)绘制学习曲线

模型:LinearSVC(C=1.0),sklearn中提供了learning_curve ()函数不用自己实现

1)总样本1225,10%、25%、50%、75%、100% 5轮,train:valid = 3:1

2)计算平均方差随样本数变化的曲线

从下图中看出,当前fit的模型是存在过拟合的,所以接下来要做的事情就是增加样本、调参、减少特征等方式来处理。

图片6.png

3)防止过拟合

第一步:调整LinearSVC 参数(如C 、class_weight)——确认C=10最合适

图片7.png
图片8.png
图片9.png

第二步:增加样本(优先增加数量少的分类样本、test_set准确率低的分类样本) 1610个样本时误差最低

图片10.png

为了更好的分析问题,可以通过classification_report来得出各个分类的具体精确率情况

from sklearn.metrics import classification_report

图片11.png

第三步:减少特征

1)减少特征的过程中,尝试通过RFEVC获取最优特征数,优化结果并不明显

图片12.png

a.特征增加的步长是人为选择的,太大了可能会漏掉关键特征,太小了计算量太大

b.step一致的,最优特征数 每次可能不一样

c.提升并不大

图片13.png

2)加大图像压缩: 从原来的8倍->12倍->16倍

a.从学习曲线上看过拟合依然存在,整体的test_error还是减小了的

b.偏差严重的label=start 这一分类,压缩倍速越高精确度越低

图片14.png
图片15.png

3)PCA

主要成分分析PCA:特征置换,原特征映射到新特征,从而实现降维。降维的目的主要是减少计算量,但是有热心同志建议试试,便试试。事实证明实际上证明“利用PCA来避免过拟合”是个bad case。

图片16.png

4)提取颜色直方图并做平滑处理后,作为图像特征之后,对比发现precison和recall低了10个百分点~~

图片17.png

第四步:调整结果分类

在前面有分析过,start这个分类识别准确率很低。 分析对比图片,start与desk区别仅仅在于app icon是灰显的。经评估desk和start分类合成一类,在实际耗时测试中影响并不大,但能提高不少test set的准确率

图片18.png
图片19.png

8分类变成7分类之后的学习曲线已经趋于收敛,且过拟合情况好很多了

图片20.png

分类准确率提升如下表所示:

图片21.png

4)调优前后对比

图片22.png

5、总结


图片23.png

6、后续 - 模型探讨


SVM 线性核LinearSVC,在图片分类问题中并非唯一选择,也不是最佳选择。后面将尝试不同的图像特征提取,与CNN和迁移学习算法在本问题的应用情况进行对比

1、使用 TensorFlow 构建 CNN

2、使用Inception v3进行图像分类

3、尝试新的图像特征提取方式


腾讯WeTest是腾讯官方出品的一站式质量开放平台。致力于品质标准建设、产品质量提升,历经千款腾讯产品磨砺。平台包含兼容测试、云真机、性能测试、安全防护、企鹅风讯等优秀工具,覆盖产品在研发、运营各阶段的测试需求。金牌专家团队,10余年品质管理经验,5大维度,41项指标,360度保障产品质量。

目前,我们为WeTest平台的认证用户提供免费使用机会,详情点击http://wetest.qq.com/

如果使用当中有任何疑问,欢迎联系腾讯WeTest企业QQ:800024531

腾讯WeTest有奖征文活动进行中,欢迎投稿!了解详情:

http://wetest.qq.com/lab/view/379.html

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

3 条评论
登录 后参与评论

相关文章

来自专栏机器之心

NIPS 2018 | MIT等提出NS-VQA:结合深度学习与符号推理的视觉问答

作者:Kexin Yi、Jiajun Wu、Chuang Gan、Antonio Torralba、Pushmeet Kohli、Joshua B. Tenen...

632
来自专栏有趣的Python

TensorFlow应用实战-16-强化学习基础理论

1555
来自专栏人工智能LeadAI

如何使用sklearn进行数据挖掘

1.1、数据挖掘的步骤 数据挖掘通常包括数据采集,数据分析,特征工程,训练模型,模型评估等步骤。使用sklearn工具可以方便地进行特征工程和模型训练工作,在《...

2749
来自专栏专知

【干货】深度学习知识体系思维导图,一图让你理解所有概念

深度学习 思维导图 / 速查表 概括深度学习概念,架构以及TensorFlow库 Overview 深度学习是基于学习数据表示的更宽泛的机器学习方法家族的一部分...

3733
来自专栏机器学习算法与Python学习

干货|谷歌大规模机器学习:模型训练、特征工程和算法选择

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 谷歌机器学习:实际应用技巧 ? ? ...

3955
来自专栏算法channel

TensorFlow 入门进阶

TensorFlow is a software library for designing and deploying numerical computati...

914
来自专栏QQ大数据团队的专栏

神盾推荐系统的超大规模参数学习探究

前言 本文介绍我们在推荐系统领域的大规模参数学习研究. 问题的起源是探究给每一个用户学习一个 ID 层级的表征, 而在千万量级的业务上, 学习如此特征将会牵涉...

7.2K9
来自专栏智能计算时代

使用TensorFlow实现神经网络的介绍

介绍 如果您一直在追踪数据科学/机器学习,您将不会错过深度学习和神经网络周围的动态。组织正在寻找具有深度学习技能的人,无论他们在哪里。从竞争开始到开放采购项目和...

3294
来自专栏量子位

面对数据缺失,如何选择合适的机器学习模型?

作者:阿萨姆 普华永道 | 数据科学家 量子位 已获授权编辑发布 转载请联系原作者 有些小伙伴在实际使用中发现xgboost可以自动处理缺失值,而有些模型不可以...

4006
来自专栏人工智能

机器学习工作流程(第2部分) - 数据预处理

尽量保持我承诺的日期。下面详细介绍了我提出的机器学习工作流程的第一步讨论,即数据预处理。

2360

扫码关注云+社区