请拿数据说质量

作者:lucky

前面我们从被动角度发现质量改进点,今天我们聊聊主动发现,即如何建立一个产品质量度量指标?如何监控?

一个产品的质量如何,会通过很多维度信息来体现,例如内外部用户反馈,数据上报、指标监控与度量等方式,那怎么建立一个产品的度量指标?建立指标时需要关注哪些方面?指标怎么落地?指标怎么达到正向引导?听小Q慢慢给你道来。

如何建立度量指标?

一个产品的指标方向,分为研发指标和运营指标两大类,研发类指标主要关注研发过程中的效率、产出,运营类指标主要关注产品质量、用户反馈,功能运营数据等。指标的目的是为了引导产品越做越好,更加完善。具体需要制定哪些指标,由团队共同讨论,并最终确定指标项定义及指标算法。那应该怎么做呢?

首先梳理产品核心功能,关键路径,核心业务;

其次依据关键信息,细化指标项,并给出每个指标的定义;

最后确认每个指标项的数据来源,计算公式,及度量周期。

为了保证高效、高质量完成指标的建立,确保指标数据准确性、及时性、客观性,我们还需要引入指标owner这个角色来整体推动。

注意事项

(1)指标的定义没有歧义;

(2)指标的计算要符合用户实际感受;

(3)指标的制定,需要包含关键功能成功率、产品稳定性(例如产品崩溃率)、产品性能(如产品启动速度、关键功能流畅度)等;

(4) 确定度量周期,比较常见的时间周期有日、月、季度、半年,全年。

建立度量指标关键点

在思考建立度量指标时,需要评估该产品是否适合度量?一般来说,建议从质量数据相对稳定的产品开始,要确保指标数据能正确指导产品质量提升方向,如果指标数据波动较大,指标度量数据就无意义了。在建设过程中,指标建设Owner需要了解产品关键功能是什么?有哪些维度可以度量关键功能?这些指标能否体现产品质量?作为指标建设owner,提前准备好度量指标方案, 高效率的引导团队参与到指标建设,加快建设效率。

注意事项

(1)度量的数据范围(例如用户量小于某个值时,不进行度量);

(2)特殊场景如何处理(例如非产品质量引起异常数据剔除逻辑);

(3)每个指标项确认一名责任人;

(4)Owner要预先准备度量方案;

(5)度量指标数据稳定;

(6)度量方案报团队质量leader审批。

度量指标如何落地产品

完成度量方案制定,并审核通过,即开始启动指标落地工作,各指标责任人推动指标依赖的各项数据源进行数据上报,并确保上报通道正常,检查数据上报准确性、合理性、及时性。建立质量日报,度量月报,让数据能有效、客观的展现出来,一目了然发现产品质量哪些地方需要提升,同时制定异常数据响应机制。为了让指标快速落地,产品初期建立度量指标时,指标项不宜过多,同时需要考虑指标数据尽可能通过工具获取。

注意事项

(1)卷入相关干系人,成立指标建设联合项目团队或专项攻坚团队,确定总Owner;

(2)总Owner协调所需的资源与支持(如数据存储所需的资源、上报所需要的接口接入、跨部门合作等);

(3)上报通道正式启用前,需验证上报通道可用性及指标数据源正确与准确性;

(4)指定专人建立质量日报,度量月报,并定期同步。

指标如何监控

当指标落地实施后,同步启动监控方案制定,需要从途径、数据来源、关键字、告警机制、监控时机、处理流程等维度综合考虑,并设置优先级及响应机制。一旦产品发布,及时启动监控。

注意事项

(1)产品发布前,需确定监控方案;

(2)通过反馈平台收集用户反馈、监控平台设置关键字、告警值及优先级类,即紧急告警、严重告警、一般告警等,每个告警启动不同处理流程;

(3)定时同步用户反馈、指标数据监控结果;

(4)关于响应机制,主要分为什么级别多长时间响应,并需要上升至哪些干系人。

指标如何正向引导

当指标数据波动较小,趋近于稳定、产品的用户量达到一定级别,我们需要将指标度量提升一个高度, 是时候来一些激励机制,让团队更加重视质量,宣导与灌输质量是产品生命线的思想。那我们会建立什么样的机制呢?例如开发质量之星、质量先峰、质量达人、质量小能手进行奖励,同时也会对质量数据月度考核等。核心点就是通过考核,设立标杆的方式来引导指标提升,补齐质量短板。

注意事项

(1)确定产品规模达到什么量级启动指标数据考核,例如登录用户量、版本用户占比等;

(2)从度量指标中选取需要提升的能力项进行考核;

(3)确定考核周期及考核指标评分标准(即满分、及格、不及格);

(4)制定各项激励机制重点(例如问题响应速度,指标数据上报准确率、质量指标完成率、额外提升加分等);

(5)当原有指标已满分,需要重新考虑提升方向和重点,确保产品的质量一直有努力方向。

总结:说了这么多,重点只有一个,质量是产品的关键。质量好,才会有更多用户愿意使用我们的产品,这是用户价值为导向的产品应有的风范。指标来源于产品,也服务于产品,让我们的指标为产品保驾护航。

本文转载自:腾讯小Q聊质量

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏架构之美

转转大数据平台从 0 到 1 演进与实践

912
来自专栏cloudskyme

云计算读书笔记(一)

云计算的概念 云计算是一种商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使用户能够按需获取计算力、存储空间和信息服务。 云的核心理念就是资源池。 为...

3136
来自专栏后端技术探索

架构的本质

目前讨论架构实操(术)的文章较多,讨论架构理念(道)的较少,本文基于作者在大型电商系统架构方面的一些实践和思考,和大家聊聊架构理念性的东西,希望能够抛砖引玉,推...

582
来自专栏用户3246163的专栏

为什么DDD是设计微服务的最佳实践

在本人的前一篇文章《不要把微服务做成小单体》中,现在很多的微服务开发团队在设计和实现微服务的时候觉得只要把原来的单体拆小,就是微服务了。但是这不一定是正确的微服...

652
来自专栏ATYUN订阅号

AMAX推出AI训练和推理平台DL-E48A,支持超大规模部署

AMAX,AI和深学习发展高性能服务器的领先制造商,宣布推出的DL-E48A,可重新配置的单双根高密度GPU平台,专为AI训练和推理而设计。AMAX在CVPR ...

914
来自专栏云计算D1net

云计算的小兄弟:雾计算和霾计算

云计算成名较早,现在是大名鼎鼎,经过这几年的努力,俨然成为了科学技术界的一名当红巨星。正所谓人红是非多,不少人也是盯着云计算,眼睛里揉沙子,找云计算身上的弱点。...

3454
来自专栏腾讯大讲堂的专栏

大数据在服务器运营中的应用

腾讯公司从2012年开始,通过对服务器运营流程、工具系统的建设,服务器从一线到三线的运营基本转入线上自动化。在服务器静态配置、动态的运行状态和生命周期各个节点的...

22410
来自专栏Fred Liang

VUI (语音交互)

1413
来自专栏大数据挖掘DT机器学习

【经验】数据质量在商业智能中扮演的角色

对于增强数据资产准确度和价值而言,将数据质量规则与活动(探查、清洗和监测)和MDM流程相集成显得十分关键。在启动任何MDM项目之前,您都需要了解源数据...

3385
来自专栏镁客网

科技界新网红、云计算“终结者”,这一技术正从边缘走向中心

“计算正从中央走向边缘”、“计算边缘化”……近日来,在大大小小各类有关人工智能的论坛或峰会上,我们或多或少的听见以上言论,其中的关键点只有一个——边缘计算。

501

扫码关注云+社区