腾讯TMQ在线沙龙回顾|测试左移实践

测试左移实践

活动时间：2017年6月28日 QQ群视频交流

活动主题：TMQ在线沙龙第二十三期分享

本次分享的主题是：测试左移实践

共有214位测试小伙伴报名参加活动，在线观看视频人数 54人！

想知道活动分享了啥吗，

请往下看吧！

活动嘉宾

嘉宾简介

陈诚，腾讯手机管家专项测试工程师，目前主要负责手机管家的测试分析、接口测试、工具建设等。在安卓客户端、H5等领域有丰富的测试经验。

分享主题

1、测试左移的概念

2、测试左移方案：testng自动化方案和本地Mock方案

3、测试左移案例：手机管家7.0测试左移实践

问答环节

1、UI自动化测试能否左移？

答：测试左移是希望将测试执行在所有部分开发完成前介入，而UI自动化的前提是UI已经开发完成，我们认为此时产品手工测试可测性已经具备，再谈测试左移会起不到尽早测试提前发现bug的目的。

2、这种mock是mock平台的测试，不是针对代码的白盒mock吧？

答：明白你所以mock平台的意思，实际上无论是mock对象，数据，还是插件，他们的区别是看待mock的角度不同。我们使用测试插件来mock业务插件，如你所说，是平台的mock；在测试插件中，我们mock难以构造的测试环境和测试数据，也是以对代码理深入理解为前提，即代码白盒为前提的。这里单独开发一个测试插件的目的就是为了避免出现问题3的情况。

3、将接入主界面改为mock的插件这种接入方式会对原代码入侵么？

答：这个问题很好，我们在做mock测试的时候必须考虑到对原有开发代码的修改，即问题中说的“入侵”。现在的方法为从测试插件过来的数据源接入主界面，修改点为插件ID，只需要修改一个变量。如果我们直接在主界面代码中插桩，动态mock数据，需要增加大量代码，对开发代码的修改是更严重的。所以测试插件的诞生就是为了和开发代码解耦，达到减少“入侵”的目的。

4、测试左移列举的几个方法，按照软件生命周期应该怎么使用？

答：我们将测试思维延生到产品研发流程的各个阶段：

1、在需求阶段，可以对需求分析，测试建模，使得需求质量维持在高水准，测试能抓住测试重点；

2、在技术评审和开发阶段，通过技术实现的分析梳理可以“测试左移”的部分，比如能否开展单元测试，接口测试，mock测试和其他辅助测试完成的测试方案；

3、产品开发完成提测前，可以展开小组全员的冒烟测试，各个角色（开发，设计，产品，测试）均参与，一起体验，保证提测质量。

5、单元测试发现的问题多么，感觉这个成本好高？

答：首先我们要明白单元测试的目的，发现bug只是一方面的收益。因为发现bug越多并不能代表产品质量就高，做单元测试的主要目的我认为是衡量代码健康度，每一次开发提交代码后，单元测试通过，我们可以认为产品质量是有最基础的保证，增加团队成员对产品质量的信心。当然UT的成本高是必然的，所以这里涉及到谁来做UT和哪些模块需要做UT的划分，分清主次找准重点来做。

6、请问NLP怎么用？

答：讲清楚怎么用NLP做需求建模和分析不是一件简单的事情，如果有需要可以TMQ这边开课专门介绍，这里推荐一篇原始文献《NLP For Testers - The Meta Model》里面介绍了详细的NLP方法。

7、写测试代码都是基于接口文档和需求文档么，需要看项目源代码不呢？

答：在测试左移方案中，我们在手机管家7.0实践中，是在出了接口文档后就已经开始写测试代码，因为接口文档中已经将接口逻辑、参数和返回值明确定义，没有必要等到接口开发完成才动手编写测试代码。好处在于接口开发完成我们可以马上接入测试，这也是测试左移的价值所在。

8、对于业务比较多的，单元测试mock数据的成本也会很大，有很多的服务和数据都得mock，这种要怎么开展单元测试呢？

答：抓重点，分主次。并不是所有功能模块都需要接入UT。另外做单元测试也不是全部由测试同学来完成，开发也需要介入其中。参考题5。

9、用TestNG进行单测的粒度是什么？是只测接口还是更细？

答：我们使用PiTest主要是做接口测试，这里和通常意义的接口测试也有一定的区别，通常认为一个接口没有返回值是不可测的，但实际上我们可以通过UI（有UI的情况下）和数据变化来观察被测接口是否走到正常逻辑。对于UT的粒度参考8和5。

10、ppt里面的三个例子分别是通过什么方式集成到日常的监控中的？

答：这里应该是想问如何将接口测试建设成daily测试。通常使用Jenkins，Jenkins是基于Java开发的一种持续集成工具，用于监控持续重复的工作，具体可以学习jenkins搭建和任务配置。这里要注意的是接口测试和日常监控的用例是不一样的：接口人测试的用例需要考虑到接口参数的异常边界等，还需要考虑具体业务场景下的正常参数；监控的用例通常是为了监控某个业务是否还持续工作，对接口参数是否鲁棒不过多关注。