腾讯TMQ在线沙龙|精准测试介绍

精准测试介绍

活动时间 : 2016年8月25日 QQ群视频交流

活动介绍 :TMQ在线沙龙第七期分享

本次分享的主题是介绍精准测试相关的知识。

共有123位测试小伙伴报名参加活动,在线观看视频人数55人~想知道活动分享了啥吗?往下看吧!

活动嘉宾

嘉宾简介

赵丽娜,腾讯高级测试工程师,负责腾讯地图开放平台和后台的测试工作。 有多年后台开发和项目管理经验,对SDK测试、接口测试和性能专项测试有一定了解。

分享主题

  • 什么是精准测试
  • 为什么要用精准测试
  • 精准测试的理论基础
  • 精准测试在行业中的现状
  • 精准测试在腾讯的实践
  • 精准测试的局限

问答环节

1、提问:+精准测试执行过程中,哪些是关键环节,怎么做好这些关键环节?

答:就是测试前 测试中 测试后 那页ppt内容

1) 准备知识库是重要的前提,无论是人工分析还是工具分析,知识库建设中的一个重要的细节是用例的粒度。小粒度的用例和完备的知识库(映射库)是基础。

2) 另一个重要环节是测试后的覆盖率分析,分析决定了反推的测试用例的有效性,并反作用于知识库(映射库),使知识库(映射库)更完整。

3) 这个过程中离不开工具的支持,建议有专人来开发和维护工具。 android 建议的工具是 jacoco(覆盖率) + android log 方法(动态函数链获取)。

IOS建议的工具是GCOV,目前还没有看到好的函数调用关系工具。

2、提问:+精准测试系统建设的有哪些关键前提条件,成本多大

答:如果用工具生成映射库,成本主要在前期工具调研和二次开发,大约需要10人月的工作量。

如果人工生成映射库,根据项目大小成本不确定。不建议由测试人员人工生成,一是对人员素质要求高,二是容易漏测。

实际操作中,可以和开发人员协作来逐步完成。

3、提问:+精准测试在所有测试活动中承担什么角色,是可以贯穿所有测试活动?还是承担或应用在某些适合的产品或阶段中?如果它只承担部分角色,那么它与其他测试活动怎么配合?

答:精准测试与其他测试活动没有冲突,精准测试主要是用来缩小测试范围或用例范围的。

如输出为测试用例,可以继续按照传统测试方法执行用例;

如输出为测试建议,可以根据测试建议应用探索测试等方法进行。

4、如果需要进一步了解精准测试,可以怎么联系交流?

答: 请联系TMQ小编。

5、精准测试的工具系统,腾讯有对外试用或开放吗?

答:暂不对外开放。

6、全量函数覆盖70~80%是怎么衡量,分子分母分别是什么?

答: 分子为所有用例执行后覆盖了的代码(行/函数),分母为全量代码(行/函数)。 实际情况看,70~80% 已经是一个不错的覆盖率。

建议在实际使用中,把基础函数从统计中去除。

7、提问:目前精准测试在腾讯现有的项目中是否开展实施,从目前的实施来看,主要的效果是否有具体的数据体现。

答:在有些项目中有展开, 各项目开展的程度也不一. 列举一下某项目上线前应用精准测试的数据如下:

C:\Users\SOLINA~1\AppData\Local\Temp\{2262136A-CA67-4755-ADDE-FAF07247909E}.png

8、提问:如果变更的代码类似于像一个公共调用代码的话是不是触发用例会特别多?遇到这类问题,需要来过滤这些用例,那有啥工具来分析还是得人工分析?

答: 这是精准测试遇到的难题之一。 建议不把基础函数列入映射库。

9、提问+映射库由数维护?刚才提到的测试 建议是指建议回归范围,那么这个范围是功能层还是代码层?

这种模式 判断出来的是否具备权威性,换句话说在实际过程中 是否因为这种模式判断上或实施上的失误造回归漏测的情况?

答: 映射库有进行覆盖率分析的测试人员维护。实际运行情况是,覆盖率分析人员若发现有代码没有覆盖到,会分析是否需要增加用例以增加覆盖。增加用例后,运行用例就自动生成了用例和代码的映射关系。

测试建议是指功能层,当没有用例时,无法推出测试用例集,那么可以给出粗粒度的测试建议。

只要映射关系准确,反推的测试用例/测试建议还是比较准确的,而且最后还会有覆盖率来检查。

10、 映射库由谁维护?

刚才提到的测试 建议是指建议回归范围,那么这个范围是功能层还是代码层?

这种模式 判断出来的是否具备权威性,换句话说在实际过程中 是否因为这种模式判断上或实施上的失误造回归漏测的情况?

答:同问题9

11、你好,精准测试可以理解为理想状况下才能执行的测试?

腾讯能做到这点?

特别是经历几年多个版本的系统

答:精准测试对被测项目要求比较高,比如要求低耦合的代码,小粒度的用例。

但并非在理想状况才能执行。可以说精准测试是介于黑盒测试和白盒测试之间的一种测试模型。

如果可以做UT的项目,一定可以做精准测试。腾讯不完全能做到这点,个别项目可以,对做不到的项目可以变通使用,即PPT中说到的测试建议。

经历多年的成熟项目,是非常适合用精准测试的。

12、提问+精准测试的成本是不是比较高,在工作量的预估上有什么经验可以分享?

答:请参考问题2答案。

13、提问:这个知识库的复用情况怎么样呢?其他项目用到的能有多少?谢谢

答:知识库本身是针对每个具体项目的,没有复用性。生成知识库的方法/工具是通用的。

14、刚开始的时候说到目前互联网的模式已经没有测试了。这是针对精准测试,还是整个项目里程呢

答:指的是Microsoft 的情况,并非没有测试,而是没有测试人员了,测试由开发人员自己来完成。

15、你好,我想提问:目前精准测试在腾讯现有的项目中是否开展实施,从目前的实施来看,主要的效果是否有具体的数据体现,谢谢

答:请参照问题7

主办方 腾讯移动品质中心TMQ 介绍

腾讯移动品质中心-Tencent Mobile Quality Center 它是腾讯最早专注在移动APP测试的团队,在十余年的时间内承担了近十款业界领先产品测试工作,近七年的android及iOS自动化测试项目经验,为腾讯向移动转型提供了多项质量方案和关键专利。想知道腾讯多款亿级APP的品质秘密么?欢迎关注腾讯移动品质中心TMQ公众号,这里有TMQ专家团给您带来的移动测试技术精华。

获奖名单

幸运听众奖 尘-sie-测试工程师 QQ号:342583207

原文发布于微信公众号 - 腾讯移动品质中心TMQ(gh_2052d3e8c27d)

原文发表时间:2016-08-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏WeTest质量开放平台团队的专栏

建一座安全的“天空城” :揭秘腾讯 WeTest 如何与祖龙共同挖掘手游安全漏洞

《九州天空城3D》上线至今,长期稳定在 APP Store 畅销排行的前五,本文将介绍腾讯 WeTest 手游安全团队在游戏上线前为《九州天空城3D》挖掘安全漏...

18000
来自专栏Python中文社区

Python分布式抓取和分析京东商城评价

互联网购物现在已经是非常普遍的购物方式,在互联网上购买商品并且使用之后,很多人都会回过头来对自己购买的商品进行一些评价,以此来表达自己对于该商品使用后的看法。商...

29960
来自专栏轮子工厂

给新手程序员的一些建议

解决问题是一个通用的能力,本应在学生时代习得,若是不擅长解决问题,怕是短时间内很难提升,但在一个具体的领域里,往往「途径」更加重要。

9120
来自专栏WeTest质量开放平台团队的专栏

如何做到精准性能测试——WeTest助手

春节将至,还处于工作状态的小伙伴们想好怎么度过愉快的猴年假期了没!腾讯WeTest先在这里给大家拜个早年,祝大家猴年猴开心~ ? 腾讯WeTest自开放以来,...

40230
来自专栏WeTest质量开放平台团队的专栏

压测难,难于上青天,80%的直播应用都败在了这里

直播的火爆带来了海量的用户,也带来了海量的服务器并发。本文分析了目前直播行业存在的难点,从腾讯目前的新直播产品——NOW直播出发, 了解直播应用背后的那些事。

16020
来自专栏云计算D1net

混合云应用对于企业的意义

虽然为混合云部署开发应用并不是某种黑暗魔法,但是对于很多企业来说,这还是一项具有一定神秘性的工作。 可以想象,任何设想进行混合云开发的用户最终都需要完...

26630
来自专栏数据科学与人工智能

【ETL工程】大数据技术核心之ETL

抛开大数据的概念与基本知识,进入核心。我们从:数据采集、数据存储、数据管理、数据分析与挖掘,四个方面讨论大数据在实际应用中涉及的技术与知识点。 核心技术 架构挑...

648100
来自专栏钱塘大数据

大数据处理过程之核心技术ETL详解

核心技术架构挑战: 1、对现有数据库管理技术的挑战。 2、经典数据库技术并没有考虑数据的多类别(variety)、SQL(结构化数据查询语言),在设计的一开...

69360
来自专栏Danny的专栏

大神级程序员和普通程序员的区别

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

13320
来自专栏云计算D1net

什么是开发混合云应用的核心因素

虽然为混合云部署开发应用并不是某种黑暗魔法,但是对于很多企业来说,这还是一项具有一定神秘性的工作。 可以想象,任何设想进行混合云开发的用户最终都需要完成很多个这...

38870

扫码关注云+社区

领取腾讯云代金券