请拿数据说质量

作者：lucky

前面我们从被动角度发现质量改进点，今天我们聊聊主动发现，即如何建立一个产品质量度量指标？如何监控？

一个产品的质量如何，会通过很多维度信息来体现，例如内外部用户反馈，数据上报、指标监控与度量等方式，那怎么建立一个产品的度量指标？建立指标时需要关注哪些方面？指标怎么落地？指标怎么达到正向引导？听小Q慢慢给你道来。

如何建立度量指标？

一个产品的指标方向，分为研发指标和运营指标两大类，研发类指标主要关注研发过程中的效率、产出，运营类指标主要关注产品质量、用户反馈，功能运营数据等。指标的目的是为了引导产品越做越好，更加完善。具体需要制定哪些指标，由团队共同讨论，并最终确定指标项定义及指标算法。那应该怎么做呢？

首先梳理产品核心功能，关键路径，核心业务;

其次依据关键信息，细化指标项，并给出每个指标的定义;

最后确认每个指标项的数据来源，计算公式，及度量周期。

为了保证高效、高质量完成指标的建立，确保指标数据准确性、及时性、客观性，我们还需要引入指标owner这个角色来整体推动。

注意事项

（1）指标的定义没有歧义;

（2）指标的计算要符合用户实际感受;

（3）指标的制定，需要包含关键功能成功率、产品稳定性（例如产品崩溃率）、产品性能（如产品启动速度、关键功能流畅度）等;

（4） 确定度量周期，比较常见的时间周期有日、月、季度、半年，全年。

建立度量指标关键点

在思考建立度量指标时，需要评估该产品是否适合度量？一般来说，建议从质量数据相对稳定的产品开始，要确保指标数据能正确指导产品质量提升方向，如果指标数据波动较大，指标度量数据就无意义了。在建设过程中，指标建设Owner需要了解产品关键功能是什么？有哪些维度可以度量关键功能？这些指标能否体现产品质量？作为指标建设owner，提前准备好度量指标方案， 高效率的引导团队参与到指标建设，加快建设效率。

注意事项

（1）度量的数据范围(例如用户量小于某个值时，不进行度量);

（2）特殊场景如何处理(例如非产品质量引起异常数据剔除逻辑);

（3）每个指标项确认一名责任人;

（4）Owner要预先准备度量方案;

（5）度量指标数据稳定;

（6）度量方案报团队质量leader审批。

度量指标如何落地产品

完成度量方案制定，并审核通过，即开始启动指标落地工作，各指标责任人推动指标依赖的各项数据源进行数据上报，并确保上报通道正常，检查数据上报准确性、合理性、及时性。建立质量日报，度量月报，让数据能有效、客观的展现出来，一目了然发现产品质量哪些地方需要提升，同时制定异常数据响应机制。为了让指标快速落地，产品初期建立度量指标时，指标项不宜过多，同时需要考虑指标数据尽可能通过工具获取。

注意事项

（1）卷入相关干系人，成立指标建设联合项目团队或专项攻坚团队，确定总Owner;

（2）总Owner协调所需的资源与支持（如数据存储所需的资源、上报所需要的接口接入、跨部门合作等）;

（3）上报通道正式启用前，需验证上报通道可用性及指标数据源正确与准确性;

（4）指定专人建立质量日报，度量月报，并定期同步。

指标如何监控

当指标落地实施后，同步启动监控方案制定，需要从途径、数据来源、关键字、告警机制、监控时机、处理流程等维度综合考虑，并设置优先级及响应机制。一旦产品发布，及时启动监控。

注意事项

（1）产品发布前，需确定监控方案;

（2）通过反馈平台收集用户反馈、监控平台设置关键字、告警值及优先级类，即紧急告警、严重告警、一般告警等，每个告警启动不同处理流程;

（3）定时同步用户反馈、指标数据监控结果;

（4）关于响应机制，主要分为什么级别多长时间响应，并需要上升至哪些干系人。

指标如何正向引导

当指标数据波动较小，趋近于稳定、产品的用户量达到一定级别，我们需要将指标度量提升一个高度， 是时候来一些激励机制，让团队更加重视质量，宣导与灌输质量是产品生命线的思想。那我们会建立什么样的机制呢？例如开发质量之星、质量先峰、质量达人、质量小能手进行奖励，同时也会对质量数据月度考核等。核心点就是通过考核，设立标杆的方式来引导指标提升，补齐质量短板。

注意事项

（1）确定产品规模达到什么量级启动指标数据考核，例如登录用户量、版本用户占比等;

（2）从度量指标中选取需要提升的能力项进行考核;

（3）确定考核周期及考核指标评分标准（即满分、及格、不及格）;

（4）制定各项激励机制重点（例如问题响应速度，指标数据上报准确率、质量指标完成率、额外提升加分等）;

（5）当原有指标已满分，需要重新考虑提升方向和重点，确保产品的质量一直有努力方向。

总结：说了这么多，重点只有一个，质量是产品的关键。质量好，才会有更多用户愿意使用我们的产品，这是用户价值为导向的产品应有的风范。指标来源于产品，也服务于产品，让我们的指标为产品保驾护航。

本文转载自：腾讯小Q聊质量