本文首发于 vivo互联网技术 微信公众号 链接: https://mp.weixin.qq.com/s/ZsgstdmaiFUKkLItc6y-Lw 作者:何彦军
软件测试作为软件生命周期中不可缺少的组成部分,对提高软件质量起着重要作用。随着软件测试的发展,自动化测试技术也得到了很大提高。
本文首先介绍了自动化测试的概念、分类和现状,并分别对不同端上的自动化测试实现原理进行了详细地分析和阐述,通过对目前主流的一些自动化测试框架和工具的比较,指出了当前不同端上实施自动化测试的痛点和困难。
最后通过由数据驱动的自动化测试向关键词驱动的自动化测试的探索,进而由传统模式下的自动化测试转向基于AI的自动化测试的摸索,对自动化测试的未来进行了展望。
自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程。
项目流程 + 自动化 → 分层测试:unit测试(单元测试)、service测试(接口测试)、UI测试
1、单元测试(极限编程-测试驱动开发),占比70% (1)对软件中最小可测试单元进行检查和验证 (2)由开发人员编写,检验测试单元的语义是否正确 (3)一般在构建阶段执行自动化测试脚本 (4)代表工具:XUnit等
2、接口测试,占比20% (1)测试系统组件间接口的测试 (2)主要是保证接口的正确和稳定 (3)代表工具:Jmeter、Postman等
3、UI测试,占比10% (1)验证布局是否合理、风格是否一致等等 (2)确保UI功能内部的对象符合预期 (3)代表工具:selenium、robot framework等
4、小结 (1)单元测试借助对应语言的测试框架,可以做到在构建时执行测试脚本,难度较小 (2)接口测试通过定义好每个用例的输入和输出,借助接口测试工具,也可以实现自动化,难度不大 (3)UI测试更多是与界面渲染相关的,包括元素的位置、大小是否正确,元素内容是否正确等等,主要是对界面渲染后的结果进行测试
要判断渲染界面是否满足预期,首先就需要具备操控终端界面的能力,通过定位元素获取元素的信息与预期结果比较。
注意:这仅仅属于功能性测试的范畴,如果包括多媒体内容的话,还需要借助其他手段进行比较。
而操控终端界面的能力也随终端的不同而不同,这里主要是PC端和移动端的区别。
每个浏览器厂商都会提供相应的driver,它们都实现了Selenium定义的WebDriver's wire protocol,通过这个协议可以操控浏览器做任何事情!
这个driver会启动基于这个协议的web服务,实际上就是在一个端口上监听http请求,根据不同的请求执行不同的操作。
代表框架:
以Selinium为例,实现原理如下:
与PC端上原理类似,但又有Android与IOS的区别
Android:主要基于UIAutomator和UIAutomator2,更早的可以追溯到instrumentation框架。 (1)instrumentation可以把测试包和目标测试app加载到同一个进程中运行,以此实现对app的控制。
之后封装形成Selendroid架构
(2)UIAutomator是谷歌在Android4.1版本发布时推出的基于Java编写的UI测试框架,与Bootstrap配合使用。 其特点是可以跨进程操作,可以获取屏幕上任意一个app的任意一个控件属性并对其操作。 但不足的是只能用Java编写,且测试脚本必须上传到设备上运行。
(3)UIAutomator2修复了原有版本的bug,还增加了很多新功能
IOS:主要基于UIAutomation,Xcode 7之后引入UITesting
(1)通过UIAutomation操作app时,UIAutomation会给app发送WM_GETOBJECT的消息 如果app处理WM_GETOBJECT消息,实现了UIAutomation Provider,并调用了下面的函数,则该app支持UiaReturnRawElementProvider(HWND hwnd, WPARAM wparam, LPARAM lparam, IRawElementProviderSimple *el) IRawElementProviderSimple就是UIAutomation Provider,包含了控件的各种信息,如Name,ClassName,坐标等。 因此,app想要支持自动化,就必须实现UIAutomation Provider,详情请参看《UI Automation Client Programmer's Guide》
(2)UITesting是苹果公司推出,在Xcode 7引入的UI自动化测试框架,其原理利用了IOS的Accessibility
下图列举了一部分测试框架在一些指标上的表现,除了这些,还有Robot framework、阿里的macaca框架等也可考虑。
一千个嘴把式,不如lai个手把式!
下面这一段自动化测试脚本代码基于Appium实现了在app里截屏的功能:
当然,除了写好测试脚本以外,还有很多工作需要准备
下面是基于Robot framework的自动化测试脚本片段
从以上具体实现中可以看出,要针对一个测试用例编写出对应的测试脚本,这需要的代码量不算少,并且还需要对每个方法的定义和输入输出十分熟悉。
因此,要实现UI层面的自动化测试,成本很高,甚至超过了收益。
所以,如果可以让测试脚本的编写变的简单,那么将大大改善现状。
仔细观察上述具体实现,可以发现,一个测试脚本是可以由多个测试用例组成,而每一个测试用例又可以是由多条语义清晰的指令构成的。
于是这就可以考虑对其进行抽象,这也是策略模式的一种具体应用,主要包括三个方面:
如下所示为一个基于关键字驱动的指令模型映射表
一个完整的移动端UI自动化流程应该是包括功能和视觉两部分内容的。
在功能方面,尽管利用一些主流框架可以实现自动化,但编写脚本的成本依然很大并且很复杂。
在视觉方面,更是需要依赖图像识别、图像相似度匹配、音频匹配等等技术手段。
所以,目前针对移动端UI的自动化测试还是困难重重,并没有一个成熟的解决方案。
传统测试技术 → 基于AI的测试技术
从AI在围棋界接连击败李世石、柯洁开始,AI技术逐步影响着人类社会的方方面面。
而自动化测试也慢慢朝AI的方向在发展,基于深度学习,通过迭代训练,让机器自己做出决策,最终完成操作。
比较具有代表性的AI自动化测试实践有爱奇艺团队的Aion测试框架、腾讯游戏QA团队的AI自动化测试系统。
相信在不久的将来,借助AI的力量,自动化测试将会变的越来越简单!
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。