写在前面
最近业务上使用的自动化测试项目在改进项目执行方案,优化框架,正好结合实践记录一下最近遇到的问题和解决方法,打算从以下几个部分跟大家探讨一下:
目前的自动化方案是针对我们广告SDK项目来做的,之前关注过Qtest公众号的同学应该看到过一篇文章介绍过《广告SDK自动化测试实践》。简单说一下当时为什么这么选择这个架构体系。
首先介绍一下框架的特征及项目定位:
如上面所说,Cucumber的核心语法是 Gherkin 提供支持的,每个不为空的行必须以 Gherkin 自带关键字开头, 然后跟随有任意的文本。主要的关键字有:
还有其他一些额外的关键字:
"*.feature" 文件通常用来存放一批用例的集合,.feature文件中存放着大量的测试用例,即scenarios。feature有三个基本元素:
如果你需要对当前的用例集合做一个详细的解释,可以直接这样写:
Feature: this is a feature
#这里是feature文件的详细描述
I am a description, blablablablablabla.........
Scenario: just a demo
Given the cow weighs 450 kg
When we calculate the feeding requirements
原因是Cucumber-JVM 不会触发非保留关键字开头的行对应的step, 所以在feature文件开头建议有一个详细的用例集合描述,这是个好习惯。
Scenario 其实就是具体的用例,描述一个用例的summary(标题)。它由若干步骤组成。用例可以有任意多个步骤,但是推荐数量保持在每个场景3-5个步骤。如果太长,他们将丧失作为规范和文档的表单能力。场景遵循同样的模式:
Given 步骤用于描述用例的一些前提,包括数据准备、初始化环境等等都可以放在这里来写。当然可以有多个 Given 步骤(推荐使用 And 或者 But 来变的更可读)
When 步骤用来描述一个事件, 或者一个动作。如果是连续的动作,推荐使用And提高可读性。通常我们的用例都会有When步骤表示各种操作行为。
Then 步骤用于描述期望的产出,或者结果。一般断言校验都在这个步骤里体现。
整个feature文件中的所有用例在执行之前都会执行一次Background中描述的动作,Background中的步骤一般没有Then,用例做一些通用的初始化行为,比如“清空浏览器缓存”,“卸载之前安装的APP”等等。
当有一种用例场景,存在大量重复性的步骤描述,变化的只是输入和输出的时候,非常适合用这个场景大纲结构,举个例子:
Scenario Outline: 这是一个登录的例子
Given 打开 <page> 登录页面
When 输入账户名 <username>
And 输入密码 <password>,点击登录
Then 成功进入 <result> 页面
Examples:
| page| username| password|result |
| 奇虎| test1 | 123456|奇虎欢迎你 |
| 百度| test2 | 123456|百度欢迎你 |
| 网易| test3 | 123456|网易欢迎你 |
| 京东| test4 | 123456|京东欢迎你 |
以上用例也比较适合接口校验类的用例,我们的SDK就使用到了这种描述。
Cucumber-JVM描述的每一个场景(用例),背后都需要一个对于的step步骤来实现这个描述,Cucumber-JVM还不能做到文字自动生成代码的地步,目前很多关键字驱动的框架在做类似的事情。当Cucumber-JVM在解析和执行feature文件时,它将通过正则匹配的方式寻找代码实现的steps。比如这样的:
# 用例描述
Scenario: This is a testcase
Given I have 10 dollor in my wallet
对应的step实现为:
@Given("I have (\\d+) dollor in my wallet")
public void I_have_dollor_in_my_wallet(int money){
System.out.println("money: %n\n", money);
}
细心的读者应该发现上面有参数传递,那么feature文件是通过什么样的方式把参数传给step的呢?
# 用例描述
Scenario: This is a testcase
Given I have 10 dollor in my wallet
这里可以用 (\d+) 来捕获:
@Given("I have (\\d+) dollor in my wallet")
public void I_have_dollor_in_my_wallet(int money){
}
# 用例描述
Scenario: This is a testcase
Given I have "10" dollor in my wallet
这里可以用"("*)" 来捕获(注意转义符):
@Given("I have \"([^\"]*)\" dollor in my wallet")
public void I_have_dollor_in_my_wallet(String money){
}
这种参数通常用在Then步骤里作为校验结果。
# 用例描述
Scenario: This is a testcase
Then 返回检查结果为 false
这里可以用"("*)" 来捕获(注意转义符):
@Then("^返回检查结果为 (true|false)$")
public void verify(boolean expected) {
}
简单的方式是使用逗号:
# 用例描述
Scenario: This is a testcase
Given the following animals: cow, horse, sheep
将参数定义为List:
@Given("the following animals: (.*)")
public void the_following_animals(List<String> animals) {
}
# 用例描述
Scenario: This is a testcase
Given the following animals:
| cow |
| horse |
| sheep |
将参数定义为List:
@Given("the following animals: (.*)")
public void the_following_animals(List<String> animals) {
}
Cucumber的标签非常好用,举个应用场景的例子,我们的测试用例会有几种维度,比如
我们先给测试用例做了标签分类,可以这样写:
@360
Feature: this is a feature
#这里是feature文件的详细描述
I am a description, blablablablablabla.........
@native
Scenario: just a demo
Given the cow weighs 450 kg
When we calculate the feeding requirements
@video
Scenario: just a demo
Given the cow weighs 450 kg
When we calculate the feeding requirements
@xiaomi @native
Scenario: just a demo
Given the cow weighs 450 kg
When we calculate the feeding requirements
假如我这次只想运行原生广告的用例,我可以在运行命令中这样写:
java cucumber.api.cli.Main --tags @native your_features
假如我这次只想运行除了原生广告的用例,我可以在运行命令中这样写:
java cucumber.api.cli.Main --tags ~@native your_features
各种组合情况,想怎么用就怎么用,我们在项目中针对不同case的归回可以灵活指定测试范围。
命令:java cucumber.api.cli.Main E:/codes/cucumber/demo/src/test/features/第一个例子.feature:12:21
可以运行 FixedAmountWithdraw.feature 文件中的第 12 和21 行,如果需要运行更多的行,只需要在 feature 文件名之后加上“:行号”。
命令:java cucumber.api.cli.Main --name 这是一个原生广告请求有table的例子 features
可以运行名称为“这是一个原生广告请求有table的例子”的 Scenario 或者 Scenario Outline。对于跑单个失败的场景时非常有用。
以上命令行只是例子,缺少本地classpath引入,强烈建议使用maven或者IDEA来运行,避免因环境问题导致的错误
补充:请确认本地有Android SDK、JDK1.8、Nodejs、NPM环境
步骤一:初始化环境
步骤二:通过maven的pom在线安装各种依赖
Maven本地安装Cucumber-jvm,需要手动添加很多依赖的jar包,利用maven远程仓库一键安装完成,在创建的maven项目中找到pom.xml,比如增加如下的节点:
步骤三:直接执行feature文件
#运行Cucumber-jvm需要用到的命令行:
#简单命令:
java -cp "./jars/*;." cucumber.api.cli.Main -d path/features/test.feature
#命令窗口颜色:
java -cp "./jars/*;." cucumber.api.cli.Main -p pretty features -g step_definitions
#生成测试报告:
java -cp "./jars/*;." cucumber.api.cli.Main -p html:output features -g step_definitions
步骤四:扩展step伪代码
步骤五:执行feature文件生成测试报告
Cucumber-JVM的测试报告比较简陋,后面部分会介绍Jenkins Cucumber插件生成美观的报告,生成的结果如下:
IDEA创建Cucumber-JVM项目
以上为第一节的全部内容,主要是介绍了Cucumber(-JVM)框架的用法。BDD框架的好处在于至少两个方面:
参考资料:https://skyao.gitbooks.io/learning-cucumber/content/practice/pass_parameters.htmlhttps://docs.cucumber.io/