设计测试策略

距离我一次写测试相关话题的文章，已经有相当长的一段时间了。对于自动化测试相关的内容，我大抵还算是熟悉的。毕竟，开发人员写测试这件事在 ThoughtWorks 是自然而然的，它也体现在我的开源项目上。恰好，最近我正在帮助客户设计和实施测试策略。

我便有了想法重新写一篇文章，体系性的介绍一下相关的内容。我那已经达到 800+ 篇的博客，正好缺失这样的一篇文章。

PS：我并非一个专业的测试工程师，其中若有偏颇之处，欢迎大家指正。

什么是测试策略？

测试策略是一份在特定环境约束之下，描述软件开发周期中关于测试原则、方法、方式的纲要，并阐述了它们之间如何配合，以高效地减少缺陷、提升质量。在这份策略中，需要描述测试的类型、目标、方法、准入准出条件、所需的时间、资源以及环境等信息。

测试策略是一个因地制宜地策略模式，针对于不同的公司、不同的团队、不同类型的项目，相关的内容内容或多或少会出现变化。如对于快速迭代的互联网公司来说，单元测试、UI 自动化测试不一定会被采用。

对于测试策略来说，我们主要关注于两部分的内容：

测什么？需要包含哪些测试及对应的测试范围？

怎么测？包含哪些测试方法？以及如何通过各种手法配合完成测试？

如《测试架构师修炼之道》一书所说，它考虑的实际上是：

测试的对象和范围是什么？

测试的目标是什么？

测试的重点和难点是什么？

测试深度和广度是什么？

如何安排各种测试活动？

如何评价测试的效果？

这样一看，测试策略看上去还是蛮复杂的。但是，事实并非如此，因为现有的测试体系和架构已经非常丰富，并且我们可以看到各种各样的测试策略示例。

测试策略设计

在进行测试策略设计之前，我们确立好基本思想：每个人为质量负责。不是 QA，也不止是 QA 和 开发，而是所有人。

对应的，我们要做好关于尝试策略的演进式规划：

尽早测试、不断测试

将犯错提前，以加快反馈。

测试策略不是一成不变的，而是不断演进的

在我们继续设计之前，我们还需要：

收集、分析现有的缺陷类型、修复时间等

寻找适合项目的测试类型、方式

确认方案所需要的度量体系

定义『测什么？』

测什么是指质量需求是什么、需要关注质量的哪些方面，比如应用的功能范围、性能、安全、易用性等非功能需求。

在这里，我的同事林冰玉在那篇《一页纸测试策略》中提到测试的三个方面：功能、安全、性能，结合其中定义的开发生命周期中的测试活动。

我们就有了关于『测什么』的设计过程：

可视化软件开发生命周期

定义现有的每个环节已实施的内容

添加新的测试活动

与团队讨论可行性

在迭代优化中更新『测什么』部分

定义『怎么测？』

怎么测就是采用什么办法来帮助系统实现质量需求，而不仅仅是手动和自动化的测试方法，也包括一切为质量保障服务的流程、环境、基础设施和人员等。

这部分的定义依赖于有一定的测试经验的 QA 进行编写。如下是一份定义特定测试活动的模板示例：

测试类型

测试说明

测试范围

技术

准入标准

准出标准

注意事项

环境

……

相似的，这里只是提供一个模板，针对于不同的组织来说会存在一些差距。

记录测试策略

记录，没啥说的，单纯的记录。只是呢，在记录的时候需要注意一下：

保持测试策略的团队可见性。

和团队达到一致意见。

持续更新。在线随时可更新的文档优于二进制形式

可视化

没啥说的，只是单纯的可视化。

在这里，提供一份我 Ledge 的可视化示例。

总体实施方案

尽管有了上述的内容，但是实施起来并非那么容易——至少我们需要一个总的大纲。于是，在与我的同事于晓南讨论之后，大致有了一个总体方案设计和实施的过程：

明确总体目标。即我们做这件事的价值是什么？

可测试性调研。评估自动化测试的可行性；定位

设计测试策略。适配项目需要，确认分层策略；

测试 MVP。结合项目进行环境准备、框架选型、Demo 准备

落地测试策略。

管理数据和用例。

持续更新和优化。

针对于不同的项目来说，计划会存在一些区别，如：

可测试性调研。评估自动化可行性；定位自动化测试的测试目的；

进行测试策略赋能。测试赋能计划；制定自动化测试目标比例；

制定和落地分级测试策略。通用的应用级测试策略模板；设计环境管理、数据管理、用例管理方案；

对齐标准的测试环境。打通自动化测试环境；

进行测试数据管理。

持续优化。建立可持续性的测试知识库；

测试策略的实施

这部分也不复杂，主要依旧是：

测试的 MVP 示例。框架选型、准备 DEMO

结合项目的示例。准备环境

项目中落地。集成 CI、本地踊

对团队进行赋能。

大规模落地。新增代码测试覆盖、存量代码优化

进行测试评审。

持续更新。

相关的工具见：常见测试工具

参考文章：

《从测试策略到测试架构》

《测试架构师修炼之道》

《一页纸测试策略》