测试左移实践
活动时间:2017年6月28日 QQ群视频交流
活动主题:TMQ在线沙龙第二十三期分享
本次分享的主题是:测试左移实践
共有214位测试小伙伴报名参加活动,在线观看视频人数 54人!
想知道活动分享了啥吗,
请往下看吧!
活动嘉宾
嘉宾简介
陈诚,腾讯手机管家专项测试工程师,目前主要负责手机管家的测试分析、接口测试、工具建设等。在安卓客户端、H5等领域有丰富的测试经验。
分享主题
1、测试左移的概念
2、测试左移方案:testng自动化方案和本地Mock方案
3、测试左移案例:手机管家7.0测试左移实践
问答环节
1、UI自动化测试能否左移?
答:测试左移是希望将测试执行在所有部分开发完成前介入,而UI自动化的前提是UI已经开发完成,我们认为此时产品手工测试可测性已经具备,再谈测试左移会起不到尽早测试提前发现bug的目的。
2、这种mock是mock平台的测试,不是针对代码的白盒mock吧?
答:明白你所以mock平台的意思,实际上无论是mock对象,数据,还是插件,他们的区别是看待mock的角度不同。我们使用测试插件来mock业务插件,如你所说,是平台的mock;在测试插件中,我们mock难以构造的测试环境和测试数据,也是以对代码理深入理解为前提,即代码白盒为前提的。这里单独开发一个测试插件的目的就是为了避免出现问题3的情况。
3、将接入主界面改为mock的插件这种接入方式会对原代码入侵么?
答:这个问题很好,我们在做mock测试的时候必须考虑到对原有开发代码的修改,即问题中说的“入侵”。现在的方法为从测试插件过来的数据源接入主界面,修改点为插件ID,只需要修改一个变量。如果我们直接在主界面代码中插桩,动态mock数据,需要增加大量代码,对开发代码的修改是更严重的。所以测试插件的诞生就是为了和开发代码解耦,达到减少“入侵”的目的。
4、测试左移列举的几个方法,按照软件生命周期应该怎么使用?
答:我们将测试思维延生到产品研发流程的各个阶段:
1、在需求阶段,可以对需求分析,测试建模,使得需求质量维持在高水准,测试能抓住测试重点;
2、在技术评审和开发阶段,通过技术实现的分析梳理可以“测试左移”的部分,比如能否开展单元测试,接口测试,mock测试和其他辅助测试完成的测试方案;
3、产品开发完成提测前,可以展开小组全员的冒烟测试,各个角色(开发,设计,产品,测试)均参与,一起体验,保证提测质量。
5、单元测试发现的问题多么,感觉这个成本好高?
答:首先我们要明白单元测试的目的,发现bug只是一方面的收益。因为发现bug越多并不能代表产品质量就高,做单元测试的主要目的我认为是衡量代码健康度,每一次开发提交代码后,单元测试通过,我们可以认为产品质量是有最基础的保证,增加团队成员对产品质量的信心。当然UT的成本高是必然的,所以这里涉及到谁来做UT和哪些模块需要做UT的划分,分清主次找准重点来做。
6、请问NLP怎么用?
答:讲清楚怎么用NLP做需求建模和分析不是一件简单的事情,如果有需要可以TMQ这边开课专门介绍,这里推荐一篇原始文献《NLP For Testers - The Meta Model》里面介绍了详细的NLP方法。
7、写测试代码都是基于接口文档和需求文档么,需要看项目源代码不呢?
答:在测试左移方案中,我们在手机管家7.0实践中,是在出了接口文档后就已经开始写测试代码,因为接口文档中已经将接口逻辑、参数和返回值明确定义,没有必要等到接口开发完成才动手编写测试代码。好处在于接口开发完成我们可以马上接入测试,这也是测试左移的价值所在。
8、对于业务比较多的,单元测试mock数据的成本也会很大,有很多的服务和数据都得mock,这种要怎么开展单元测试呢?
答:抓重点,分主次。并不是所有功能模块都需要接入UT。另外做单元测试也不是全部由测试同学来完成,开发也需要介入其中。参考题5。
9、用TestNG进行单测的粒度是什么?是只测接口还是更细?
答:我们使用PiTest主要是做接口测试,这里和通常意义的接口测试也有一定的区别,通常认为一个接口没有返回值是不可测的,但实际上我们可以通过UI(有UI的情况下)和数据变化来观察被测接口是否走到正常逻辑。对于UT的粒度参考8和5。
10、ppt里面的三个例子分别是通过什么方式集成到日常的监控中的?
答:这里应该是想问如何将接口测试建设成daily测试。通常使用Jenkins,Jenkins是基于Java开发的一种持续集成工具,用于监控持续重复的工作,具体可以学习jenkins搭建和任务配置。这里要注意的是接口测试和日常监控的用例是不一样的:接口人测试的用例需要考虑到接口参数的异常边界等,还需要考虑具体业务场景下的正常参数;监控的用例通常是为了监控某个业务是否还持续工作,对接口参数是否鲁棒不过多关注。