写在前面
最近两天,公司有个PC客户端的测试任务,除了最基础的功能测试外,还包括稳定性测试和兼容性测试需求。刚好去年接触过Sikuli这款基于GUI图像识别框架的自动化测试工具,于是便应用于测试工作中,辅助测试任务。初步试用下来,总体效果还算差强人意,也间接助我发现了一个致命级别的大bug(后续会介绍)。
一、GUI图像识别框架元祖:Sikuli
Sikuli 创始于 2009 年,是麻省理工学院用户界面设计小组的一个开源研究项目。2012 年由 RaiMan 接管开发和 支持并将其命名为 SikuliX。它以图像检索技术为基础,提供了一套基于 Jython 的脚本语言以及集成开发环境。使用者可利用屏幕截图直接 引用 GUI 元素进行编程,完成交互操作。Sikuli 一词取自墨西哥的土著语,意为“上帝之眼”,寓意—— Sikuli 让电脑能像人一样”看”这个”真实世 界”。官网:http://www.sikulix.com/
SikuliX支持作为脚本语言:
SikuliX的常见用途:
二、Sikuli运行原理
http://doc.sikuli.org/devs/system-design.html#sikuli-ide
三、Sikuli安装
Sikuli 支持跨平台运行,可以运行在Mac OS X、Windows 和 Linux 系统下。下载地址:https://launchpad.net/sikuli/+download或者官网:http://sikulix.com/
推荐安装x1.0-rc3(需要依赖JDK1.6版本)
四、Sikuli IDE主界面基本使用
Sikuli1.x版本官方文档:http://doc.sikuli.org/
五、Sikuli 脚本语法
Sikuli 的脚本编写遵循 Python 语法规范,其本身提供了多种自定义类及其自定义方法。由于 Sikuli 基于 Jython,其核心代码由 Java 编写,可在用户自定义的 Java 工程中将其作为 Java 标准类库进行
六、Sikuli 应用示例
PC客户端的自动循环发送消息的脚本示例:
import time
import random
myApp=App("yueyun-im") # 声明APP实例
if not myApp.window(): # 判断当前是否处于APP窗口
openApp("D:\\yueyun-im\\yueyun-im.exe") # 如果不处于APP窗口,则打开指定位置EXE
myApp.focus() # 聚焦于APP
if exists("K7iX.png"): # 判断图标是否存在
click("K7iX.png") # 点击指定图标按钮
if not exists("1655945972853.png"):
click("1655946081065.png")
click("1655945972853.png")
#while 'p' in 'python':
for i in range(10):
type("TEST-SIKULI-MSG-"+str(i))
time.sleep(0.2) # 休眠3秒
#click("1655946081065.png")
type(Key.ENTER) # 按下键盘的ENTER键,按键名要大写
type(Key.ENTER)
myApp.close() # 关闭APP
七、Sikuli 优势及局限
1.优势
① 学习成本低,只需掌握简单的python语法就能快速上手;
② 无需关注元素有哪些属性,所见即所得;
③ 适合非标准控件等自定义界面的定位,如游戏界面;
④ 支持跨平台,如:Windows、Linux、macOS;
2.局限
① 基于图像识别,图片的大小、分辨率、色彩都会对识别造成影响,定位不能百分百准确地识别到元素;
② 只能定位当前正在操作的窗口界面;
③ 若流程过长,则会造成脚本过于臃肿;
④ 图片存在相似度,会对识别造成影响,需要手动一一调整图片的精度;
Sikuli 使用小结
① 循环、持续发送消息,7*24h运行,以检测程序运行稳定性;
② 持续发送图片或视频文件,以检测程序连续上传、下载文件稳定性;
③ 在不同的PC系统版本上运行,以检测程序的兼容性;