众测白皮书

作者:尹堃团队:腾讯移动品质中心TMQ

一、引言

随着移动互联网的蓬勃发展,国内手机用户已经达到6亿以上,但由于移动APP的产品迭代周期短,且使用的机型、网络和场景,都比原来PC端更加多样化和复杂化。传统的测试方法,在测试时间、机型网络覆盖等问题上,都显得力不从心。企鹅众测(也称Tesly平台)力图通过让用户协助测试的方式,来解决上述问题。

企鹅众测产品白皮书(下称”白皮书”)将从产品研发背景、Tesly功能特点、典型应用、工作流程和收费模式几个方面来介绍企鹅众测平台。

二、产品研发背景

1、行业现状

目前,国内在软件众测领域,主要有企鹅众测、百度众测和Testin众测三个众测平台。

(1)百度众测

主要服务于内部的数据收集类任务,偏向于众包形式。

(2)Testin众测

提供第三方产品的Bug探索服务,团队作业(21人),业务模式单一。

(3)企鹅众测

累计服务腾讯内部几十款产品,并获得良好口碑。业务模式上,除了Bug探索,还提供竞品对比评测、软件性能评测、跨APP H5测试、Crash定位、产品体验等服务,并可动态指定测试用户人数(最多单任务可达到千人级别)。

2、企鹅众测的优势

图1企鹅众测的优势

(1)用户覆盖广

主要体现在遍布全国的真实用户、覆盖上千款机型和所有运营商网络,真实的用户使用场景。

同时,Tesly支持按照地区、网络、机型的多重条件过滤

(2)快速的交付

普通任务两天内交付结果报告。

紧急任务4小时内交付报告。

(3)详尽的报告

任务用户反馈统计报告,版本质量一目了然

反馈详情:提供文字、图片、视频、logcat、机型等各种信息

三、企鹅众测介绍

1、概述

企鹅众测是让真实用户参与测试的一个平台,APP研发团队提出众测需求给Tesly平台,平台将众测需求下发给用户,并收集用户反馈,最后生成测试报告给APP研发团队。

企鹅众测支持应用、游戏、H5混合应用等多种产品形态,3.2节将详细介绍Tesly支持的能力类型。

2、能力介绍

目前Tesly支持下面的服务Bug探索、产品调研、数据收集和产品评测四大类任务类型。

图2企鹅众测支持的任务类型

(1)Bug探索

1)真人真机众测

真实用户参与测试,包括模块化测试、全量测试等,用户的使用场景多样,机型、网络和地域分布广泛,能够发现更多内部测试无法发现的问题。同时,可以让产品预先知道产品上线后的情况,增加发布信心。

2)机型适配(兼容性测试)

针对某个或者部分出现问题的机型,下发给该机型的用户进行测试,节省了大量购买手机的费用和时间。

3)Bug复现

对于某些用户反馈的bug,内部无法复现或者复现代价过大,可以交给众测,让成千山万用户同时协助进行Bug复现。

(2)产品调研

1)问卷调查

针对产品的某项功能或产品原型,下发调查问卷收集用户的想法和意见,辅助产品经理对功能进行决策和了解功能在用户中的口碑。

(3)数据收集

1)数据标注

数据标注类任务,主要解决因数量庞大而内部需耗费大量人力和时间的问题。最常见的是:地理位置收集类、小说内容错误类等。

2)问题库建设

问题库建设,主要是满足项目组可以快速拿到出现问题的样本进行验证的需求,问题库一般包括但不限于:文件库、视频库、网页库等。

在产品开发过程中,经常出现用户反馈了问题,但是内部无法拿到相应的问题样本进行验证的情况,比如:手机浏览器的文件打开功能,经常出现用户反馈某类文件显示有问题,但是内部无法找到出现该问题的文档。

(4)产品评测

1)产品评测

产品评测类,主要是让用户对产品进行深度体验,并提供功能体验报告,报告内容涉及:产品各项功能体验情况、对产品的建议,并提出不合理的设计和Bug。

2)竞品对比

竞品对比主要是从用户角度,实际体验产品和竞品之间在功能、性能等负面的差异,包括但不限于:用户主观感受、性能数据、优劣势等。

3、用户介绍

(1)平台用户量

目前,众测平台用户注册数10万,每月活跃用户接近1万,用户来自全国各个省份地区,覆盖了国内所有的运营商网络,基本覆盖了所有安卓主流机型(上千款)。

(2)年龄和职业分布

众测平台的用户偏向于年轻化,24岁以下的用户居多,大部分是高中和大学生。

图3众测用户年龄、学历分布

(3)机型覆盖

众测用户覆盖上千款机型,top机型为小米、魅族、华为、联想等国内主流机型;安卓系统方面,覆盖了Android2.3~6.0的所有操作系统。

图4众测用户机型分布

图5众测用户系统分布

(4)网络覆盖

众测用户覆盖国内三大运营商的所有网络类型,运营商包括:移动、联通和电信;网络类型包括:WIFI、4G、3G和2G。

图6众测用户网络分布

(5)地域覆盖

从地域上看,众测用户覆盖全国所有省份和地区,其中以广东、河南、山东为最。

图7众测用户地域分布

四、典型应用和案例

1、典型应用场景

表1:企鹅众测典型应用场景

2、典型应用案例

(1)Bug探索

1)真人真机众测

表2:企鹅众测案例-Bug探索

2)机型适配(兼容性测试)

表3:企鹅众测案例-Bug探索

3)Bug复现

表4:企鹅众测案例-Bug探索

(2)数据收集

1)数据标注(快速判断)

表5:企鹅众测案例-数据收集

表6:企鹅众测案例-数据收集

2)问题库建设

表7:企鹅众测案例-数据收集

(3)产品评测

1)竞品对比

表8:企鹅众测案例-产品评测

五、工作流程

图8众测接入流程

1、需求沟通

需求提供方,只需要提供下面材料给众测平台接口人即可:

1)需求关注点;

2)需求关注点对应的截图;

3)如果是内测软件,请提供安装包;

4)『可选』众测平台提供自动上传附件功能(包括项目组自己打的log、记录文件等),如果需要众测协助上传,只需要将附件写到Tesly指定目录下即可;

众测平台接口人收到测试需求后,会第一时间与需求提供方进行沟通确认,确认完毕便可向用户发布众测任务,确认阶段耗时一般不会超过半小时。

2、任务分发

Tesly通过众测平台后台,向用户分发众测任务,发布的用户群体支持机型、地区、网络等多种维度的筛选,满足任务条件的用户可以在Android客户端/PC网页端接收测试任务。

任务分发到用户侧,1天内召集300~500的测试用户,2天内可以召集500~1000的测试用户。任务分发的时间长短,由需求提供方指定。分发过程由众测平台完成,项目组不需要投放人力参与。

3、反馈收集

用户通过Tesly客户端/PC端网页端,可以方便的提交反馈到Tesly后台,后台会自动将反馈提交到对应的任务。

普通任务上线1~2天,便可以完成反馈收集的目的。反馈的数量,跟众测的产品和任务需求息息相关,普通测试类任务,一般能够收到100个以上的用户反馈。

4、反馈跟进

需求提供方通过众测后台对反馈进行跟进,包括对反馈进行查看和标注(标为重点关注,标注完成后,非重点关注的反馈,将由众测平台统一关闭)。反馈支持一键导出到Excel,如果是腾讯内部产品,支持一键转到Tapd。

在此阶段,需求提供方需要投入人力对用户反馈进行跟进,而如果对每个用户反馈的问题都跟进,势必会投入过多的人力和时间,众测平台建议按照优先级从高到底来跟进用户反馈:

1)严重Bug提单跟进;

2)反馈人数在两个以上的Bug提单跟进;

3)可复现或者有Logcat信息充足的Bug提单跟进;

4)其他的Bug,视投入产出比而定。

5、任务报告

当项目组筛选完用户反馈之后,众测平台会自动生成任务报告。

6、反馈举例

下面通过一个具体的bug,来介绍用户反馈包含的内容:文字描述、截图、视频、log、机型、网络等信息。

在bug详情页面,可以通过点击用户QQ号,直接跟用户进行联系,省去添加好友的繁琐步骤。

图9众测Bug详情举例

搜索微信公众号:腾讯移动品质中心TMQ,获取更多测试干货!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏落影的专栏

鹅厂的成长收获

毕业之后在上海、成都、上海的城市中徘徊,每一次城市迁徙都带我许多的烦恼; 于是在2017年初时,我回到了深圳,选择加入当时对我来说是神秘的存在——腾讯。 至...

1632
来自专栏大数据文摘

数据工程师的没落

1533
来自专栏数据的力量

在腾讯2年,我学到了这15条关于运营的干货

17811
来自专栏灯塔大数据

数据思维丨关于数据驱动设计的6个误区

不少人喜欢谈做设计要让数据说话,但对于什么才是数据驱动的设计,往往莫衷一是。甚至在同一个团队中,由于收集的数据质量不一,理解上有差异或缺乏共同语言,单就是关于...

3365
来自专栏大数据文摘

高质量数据集哪里来?机器学习公司的十大数据搜集策略

1744
来自专栏C语言及其他语言

80年代的孩子比现在千禧一代更早开始编程

HackerRank发布了2018年开发技能报告,其中探讨了一些对理解开发人员环境至关重要的事情,并且探讨了诸如编程人员工作场所所要求的东西,他们喜欢使用的技术...

833
来自专栏CDA数据分析师

Senz创始人冯小平:送给数据分析师的6种玩具

演讲实录如下: 大家好,各位领导、各位专家数据分析师们下午好。 这是我个人的简历,我叫冯小平,之前做信息安全,做一些工程、搜索,后来去了一家NGO,也是做技术,...

1878
来自专栏ThoughtWorks

数据质量管理的一些思考

在近期的项目当中,我们为客户落地实施了数据资产平台。随后,在数据平台中接入了客户子公司的一个业务系统的明细数据。客户希望在我们的数据平台上通过数据探索和数据分析...

1424
来自专栏天天P图攻城狮

腾讯上海天天P图招人啦!

3389
来自专栏互联网数据官iCDO

如何利用Facebook Insights创建用户画像?

译者:李晓艳 审校:陈明艳 本文长度为2136字,预估阅读时间5分钟 摘要:创建用户画像是我们进行广告精准定向的一个重要步骤,本文向我们介绍了如何利用Fac...

4378

扫码关注云+社区