变异测试
变异测试在1970年被一个学生DickLipton提出，首次发现和公之于众。变异测试最初是为了定位揭示测试单元的弱点。这个理论是：如果一个边缘被引入，同时出现的行为（通常是输出）不受影响的情况下，那么这说明了：变异代码从没有被执行过（产生了过剩代码）或者测试单元无法定位错误。
1． 基本概念
变异测试是指如果代码中，对一个小的操作进行一点改动（比如“+”改为“-”），测试用例在完整的情况下就可以发现程序被改动，而报错。首先我们来了解下等价变体的概念。
源代码如下：
for(int i=0;i<10; i++){ // 源程序
//To-do ...
}变体1如下：
for(int i=0;i!=10; i++){ //变体1
//To-do ...
}变体2如下：
for(int i=0;i<10; i--){ //变体2
//To-do ...
}由此可见变体1与源代码是等价的：i从0开始，经历2,3,4,5,6,7,8,9到10，在源代码中由于10<10返回False，退出循环；在变体1中由于10!=10返回False，退出循环。而变体2与源代码是非等价的：i从0开始，经历-1，-2，-3…永远达不到i<10为False的情形。
2． 6个概念
在变异测试中需要关注以下六点
1）变异算子
1987年，针对Fortran 77语言定义了22个变异算子，而在下面我们介绍的Mutpy中定义了以下27个变异体。
- AOD - arithmetic operatordeletion（删除算术运算符）
- AOR - arithmetic operatorreplacement（替换算术运算符）
- ASR - assignment operatorreplacement（替换赋值运算符）
- BCR - break continuereplacement（交换break和continue语句）
- COD - conditional operatordeletion（删除条件运算符）
- COI - conditional operatorinsertion（插入条件运算符）
- CRP - constant replacement（替换常量）
- DDL - decorator deletion（替换修饰符）
- EHD - exception handlerdeletion（删除异常处理）
- EXS - exception swallowing（吞咽异常）
- IHD - hiding variable deletion（删除隐藏变量）
- IOD - overriding methoddeletion（删除覆盖方法）
- IOP - overridden method callingposition change（重写调用位置更改的方法）
- LCR - logical connectorreplacement（更换逻辑连接器）
- LOD - logical operator deletion（删除逻辑运算符）
- LOR - logical operatorreplacement（替换逻辑运算符）
- ROR - relational operatorreplacement（替换关系运算符）
- SCD - super calling deletion（删除超级调用）
- SCI - super calling insert（插入超级调用）
- SIR - slice index remove（移除切片索引）
- CDI – class method decoratorinsertion（插入类方法装饰器）
- OIL - one iteration loop（一个迭代循环）
- RIL - reverse iteration loop（反向迭代循环）
- SDI – static method decoratorinsertion（插入静态方法装饰器）
- SDL - statement deletion（删除语句）
- SVD - self variable deletion（删除自变量）
- ZIL - zero iteration loop（零迭代循环）
2）一阶变异体
3）高阶变异体
看下面代码
[A] z = x * y
[B] z = x / y
[C] z = x/y*2
[D] z =4x/y*2
B是A的一阶变异，C是B的一阶变异，D是A的高阶变异
4）可删除变异体
如果测试用例测试源代码和测试编译代码不一致，则这个测试用例可以删除
5）可存活变异体
如果测试用例测试源代码和测试编译代码不一致，则这个测试用例不可以删除
6）等价变异体
变异体与源代码语法不同，语义相同，则为等价变异体
3 测试方法
如果这个过程中，有减分，说明测试用例不完善或者出现重复的测试用例。
3. 工具
在变异测试中Java常用的工具为PITest，Python常用的工具为Mutpy，现在我们来学习一下Mutpy。
1）安装
在线安装
#pip install mutpy离线安装
#git clone git@github.com:mutpy/mutpy.git
#cd mutpy/
#python setup.py install2）被测程序：calculator.py
def mul(x, y):
return x * y3）测试程序：test_calculator.py
from unittestimport TestCase
from calculatorimport mul
classCalculatorTest(TestCase):
def test_mul(self):
self.assertEqual(mul(2, 2), 4)4）运行
root@ubuntu:/home/jerry/muttest# mut.py --target calculator --unit-test test_calculator -m
[*] Start mutation process:
- targets: calculator
- tests: test_calculator
[*] 1 tests passed:
- test_calculator [0.00040 s]
[*] Start mutants generation and execution:
- [# 1] AOR calculator:
--------------------------------------------------------------------------------
1: def mul(x, y):
- 2: return x * y
+ 2: return x / y
--------------------------------------------------------------------------------
[0.01345 s] killed by test_mul (test_calculator.CalculatorTest)
- [# 2] AOR calculator:
--------------------------------------------------------------------------------
1: def mul(x, y):
- 2: return x * y
+ 2: return x // y
--------------------------------------------------------------------------------
[0.01476 s] killed by test_mul (test_calculator.CalculatorTest)
- [# 3] AOR calculator:
--------------------------------------------------------------------------------
1: def mul(x, y):
- 2: return x * y
+ 2: return x ** y
--------------------------------------------------------------------------------
[0.01048 s] survived
[*] Mutation score [0.11673 s]: 66.7%
- all: 3
- killed: 2 (66.7%)
- survived: 1 (33.3%)
- incompetent: 0 (0.0%)
- timeout: 0 (0.0%)
You have new mail in /var/mail/root注：我在Win10下测试没有成功，在Linux下测试成功。
各位可以看到3个变异，存活了1个，杀死了22个，最后得分为66.7%。分析一下原因。
这里对于x * y的3个变异，分别为x / y ,x // y和x ** y。
在测试用例中x=2，y=2 ，测试结果为4 返回 True；
在变异x / y，测试结果为1 返回 False；
在变异x // y，测试结果为1 返回 False；
在变异x ** y，测试结果为2 返回 True。
所以当x=2，y=2变异x ** y是与源代码等价的。我们修改一下测试代码。
test_calculator.py
from unittestimport TestCase
from calculatorimport mul
classCalculatorTest(TestCase):
def test_mul(self):
self.assertEqual(mul(2, 3), 6)分析一下：
源代码：2 * 3 = 6，返回True
对于x / y：2/3!= 6，False；
对于x // y：2//3 =0!= 6，False；
对于x ** y：2**3=8!= 6，False。
所以三个都被杀死了，得分为100%。
运行一下。
root@ubuntu:/home/jerry/muttest# mut.py --target calculator --unit-test test_calculator -m
[*] Start mutation process:
- targets: calculator
- tests: test_calculator
[*] 1 tests passed:
- test_calculator [0.00050 s]
[*] Start mutants generation and execution:
- [# 1] AOR calculator:
--------------------------------------------------------------------------------
1: def mul(x, y):
- 2: return x * y
+ 2: return x / y
--------------------------------------------------------------------------------
[0.05670 s] killed by test_mul (test_calculator.CalculatorTest)
- [# 2] AOR calculator:
--------------------------------------------------------------------------------
1: def mul(x, y):
- 2: return x * y
+ 2: return x // y
--------------------------------------------------------------------------------
[0.03214 s] killed by test_mul (test_calculator.CalculatorTest)
- [# 3] AOR calculator:
--------------------------------------------------------------------------------
1: def mul(x, y):
- 2: return x * y
+ 2: return x ** y
--------------------------------------------------------------------------------
[0.04315 s] killed by test_mul (test_calculator.CalculatorTest)
[*] Mutation score [0.20079 s]: 100.0%
- all: 3
- killed: 3 (100.0%)
- survived: 0 (0.0%)
- incompetent: 0 (0.0%)
- timeout: 0 (0.0%)得分果然是100%