专栏首页测吧测试开发移动性能测试 | 持续集成中的 Android 稳定性测试
原创

移动性能测试 | 持续集成中的 Android 稳定性测试

来自学院内部学员 xinxi 同学的又一篇佳作,本文主要介绍了作者如何借助开源工具进行 Android 的稳定性测试,并在持续集成中使用,希望对大家有所帮助。

心有多大,世界就有多大!

前言

谈到Android稳定测试,大多数会联想到使用monkey工具来做测试.google官方提供了monkey工具,可以很快速点击被应用,之前我有一篇帖子提到了monkey工具的使用,详见:

https://testerhome.com/topics/15966.

但是原生的monkey都是基于坐标随机点击的,能真正点击到控件的概率并不大,而且会跳出app.所以monkey工具并不合适在持续集成使用.

替代方案

主要有两个思路做替代方案:

1.基于monkey工具写一套脚本来执行monkey命令.之前也写过这样的脚本,把monkey命令封装一下,但是问题在于的遍历页面太少,做过统计遍历范围15%到20%,所以这个方案并不完美.

2.寻找开源工具, AppCrawler、Maxim、UICrawler

  • AppCrawler 对app进行快速遍历,底层引擎基于appium,支持Android和iOS. https://github.com/seveniruby/AppCrawler
  • Maxim 高速uiautomator控件解析算法的Android Monkey,支持多种模式运行. https://github.com/zhangzhao4444/Maxim
  • UICrawler 基于Appium的AppUI遍历工具. https://github.com/lgxqf/UICrawler

三款工具都使用过,优缺点就不说了.目前使用是Maxim工具,Maxim代码还没有开源,作者会定期发布新版本.主要是用其工具的两个功能,基于解析控件的点击和崩溃时图片导出.

Maxim使用

需要把两个jar包push到手机sdcard目录下
adb push framework.jar /sdcard
adb push monkey.jar /sdcard

运行命令:adb shell CLASSPATH=/sdcard/monkey.jar:/sdcard/framework.jar exec app_process /system/bin tv.panda.test.monkey.Monkey -p com.panda.videoliveplatform --uiautomatormix --running-minutes 60 -v -v

策略:
模式 DFS --uiautomatordfs 增加深度遍历算法
模式 Mix --uiautomatormix直接使用底层accessibiltyserver获取界面接口
模式Troy --uiautomatortroy控件选择策略按max.xpath.selector配置的高低优先级来进行深度遍历
保留原始monkey

自动化脚本开发

选好了工具,接下来可以开发自动化脚本,预期脚本可以达到的效果.

  • 修改源码

在Android源码中注入内存泄漏检测代码、卡顿检测代码、启动时间测试代码

  • 构建app

根据环境参数执行打包命令构建app

  • 安装测试

使用adb命令进行安装测试

  • 登录测试

使用appium进行登录测试

  • 稳定性测试

使用脚本启动Maxim工具、获取崩溃日志、获取崩溃时图片

  • 性能测试

测试内存、cpu、fps、页面加载时间等性能指标

  • 生成报告

把安装测试、登录测试、稳定性、性能等数据,绘制成报告展示.

  • 平台收集结果

在脚本的最后一步把测试报告上传到服务端,由前端做报告展示.

把脚本也分为模块来开发,让每个模块没有关联性,后期比较方便维护.

持续集成

持续集成中最常用的工具是jenkins平台,jenkins可以新建job拉最新代码进行打包,触发后续的自动化测试.

由于自动化脚本已经模块化了,所以使用了pipeline模块把功能串联起来.pipeline使用是的groovy语法,需要写一个pipeline脚本文件

使用的pipeline来构建自动化任务,好处在于很清晰的知道自动化脚本执行耗时和构建步骤.

执行策略

1.每天晚上定期执行,可以在jenkins设置定时器.

2.提交代码自动触发自动化测试job.

2.手动触发.

报告展示

报告展示把自动化测试结果绘制成html报告,使用的是flask服务的Jinja2作为报告模版.

完成自动化测试报告会自动上报到测试平台保存,为后续的数据统计做准备.

应用基本信息

Monkey覆盖率

内存、cpu监控

崩溃日志、崩溃图片

!

平台汇总

可以在平台中查看自动化测试产生的崩溃日志和版本崩溃对比趋势.平台也可以查看每次自动化报告,出现崩溃问题直接把报告地址发给开发即可,省去了复制粘贴崩溃log的过程.

结语

使用这种方式已经在几个版本中发现了不少崩溃问题,也累计了不少数据.希望自动化测试的同时,还能获取更大的价值.

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 测试大咖漫谈测试人职业发展

    【作者介绍】思寒,资深测试架构师,霍格沃兹测试学院校长,开源自动化测试工具 AppCrawler 作者,有 10 余年软件测试开发经验,曾任职于阿里巴巴,百度、...

    霍格沃兹测试开发
  • Google 测试总监聊如何经营成功的测试职业生涯

    1989 年,我在田纳西大学读研究生的时候,完成了从软件开发人员到软件测试人员的转型。而这一转型并非出于我自己的选择。我命运的改变发生在一个早晨,我的教授质问我...

    霍格沃兹测试开发
  • 测试左移和测试右移的 Why-How-What

    软件测试技术应当贯穿整个软件开发生命周期、对软件产品(包括阶段性产品)进行验证和确认的活动过程,其核心目标是尽快尽早地发现软件产品中所存在的各种问题 bug——...

    霍格沃兹测试开发
  • 【开源公告】Unity手游自动化测试框架GAutomator于12月6日正式开源

    GAutomator是为Unity游戏量身定制的自动化测试框架。类似于UIAutomator操作Android标准控件,GAutomator通过Gameobje...

    腾讯开源
  • 敏捷交付中的自动化测试

    在提及自动化测试的时候,很多人会把工具的使用等同于自动化测试。自动化测试应该是一个策略性的系统化工程,不只有自动化工具。自动化测试要发挥其频繁快速的质量反馈作用...

    ThoughtWorks
  • Android开发笔记(一百一十三)测试工具

    Android的sdk提供了对项目进行单元测试的功能,开发包的android.test下面便是专门用来单元测试的类。单元测试的作用是通过模拟文本输入和手势输...

    用户4464237
  • DeepFake检测新思路:用心跳做"信号",背后的"造假"模型也无处可逃

    由它为基础开发“AI换脸”术,一方面应用在影视文化行业的想象空间极大,另一方面恶搞与色情影片却是对人性的耸动。

    AI科技评论
  • 教你从零基础开始做一名前端开发工程师

    软件开发工程师在行业外大众的眼里, 或许是一个出众的职业,收入不低, 技术含量还挺高,就连我自己刚入行时也是这么认为的,但事实上并不确切。任何行业中,只要是在金...

    用户1608022
  • 《机器学习》西瓜书读书笔记2

    2.1:经验误差与过拟合 通常我们把分类错误的样本数占样本总数的比例称为“错误率”,相应的。精度即“1-错误率”。更一般的,我们把学习器的实际预测输出和样本的真...

    云时之间
  • 音视频技术开发周刊 93期

    LiveVideoStack

扫码关注云+社区

领取腾讯云代金券