专栏首页搜狗测试如何设计评测方案

如何设计评测方案

作为测试,所在项目组上线一个新功能或者评估核心功能品质时,都需要通过评测进行定量评估效果。那么怎样才能更好的评估功能效果,设计出合理的评测方案呢?今天我们以评测功能效果的评测设计方案为例进行讲解。

一、明确评测目的

任何一件事情都是以目标为导向,目标不同,采取的行动方式也会不同。所以,明确评测的目的特别重要。需要明确的内容分为以下几点: 1)明确产品关注的具体指标或内容; 2)明确评估好对功能效果好与坏的认知; 3)明确评测的角度方向,是评估纯技术能力,还是从用户角度评估表现。比如说输入法的逐字校对功能,这个功能会将用户上屏的内容通过模型进行纠错,提醒用户正确的内容。其中包括“的、得、地”这三个字的用法纠错。从技术理论层面讲这是一个错误,但是从用户角度思考,在聊天场景中这几个字的用法正确与否就显的无关紧要。此时提示用户打错字可能不仅不会带来好口碑,还会带来负面的用户反馈。

二、了解功能实现逻辑

巧妇难为无米之炊。对要评测功能的实现逻辑掌握程度,决定着思考的评测方案的全面性和合理性。因为只有了解了功能的运行框架逻辑,我们才能分析出哪些因素会影响评估结果,以及评测的维度如何选取。

三、确定评测维度

通过二的功能实现了解,掌握了功能的运行原理。我们就可以列出所有可能影响评测结果的因素。然后逐条分析这些因素对结果的影响范围,以此为基础建立评测体系的框架。

四、确定评测指标

确定评测维度后,要考虑的就是横向指标。通过评测目的进行指标的演化和拆解,抽取关注的指标。然后通过指标进行二次拆解,分析哪些数据会影响指标的数值。

五、确定指标计算方法

通过步骤四归纳出的指标及影响数据,找出影响数据与指标的逻辑关系,建立计算方式。

六、评测执行过程设计

设计评测方案分为两部分:评测执行过程和数据集。 通过前期工作的准备,其实我们已经完成了事情的80%。 接下来我们就是对计算公式中的影响数据进行组合,结合功能思考如何获取我们想要的数据值。此时设计方案大概率就是一个功能实现的还原,如果功能还原无法获取数据可以思考通过增加日志的方式获取我们想要的数据。

七、数据集

数据集选取是方案设计中的最后一环,也是非常重要的一环。数据集选取原则: 1)数据集规模符合统计学的分布,随机进行选取,或者分布与实际数据分布保持一致; 2)数据集要反映用户的实际情况,最好是选取用户实际使用功能的数据进行评测。

划重点

所有内容明确出来后,与相关项目组成员组会沟通,确保所有内容的认知达成一致,且对评测方案认可通过。

写在最后

追梦之行,小编一直在路上,希望与你同行,一起成长。搜狗测试欢迎你分享自己的经验,帮助更多的人。

本文分享自微信公众号 - 搜狗测试(SogouQA),作者:晓梦

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 软件品质评测系统-评测体系

    相信每个测试同学都会有这样的疑问,有时候评测效果很棒的项目,仍然会接到某些场景下的用户反馈,这个时候就需要我们重新思考应该怎么去整体的评估产品质量的好坏,怎么样...

    用户5521279
  • 智能算法评测系统实践

    评测系统的设计是整个评测系统的灵魂,决定了整个评测系统该怎么做,而且对后续产品算法的走向都起到至关重要的作用。

    用户5521279
  • 智能算法评测系统实践(一)

    随着人工智能的发展,我们现在各个产品线中都融入大量的智能算法,方便了用户的同时也给我们评价产品的具体效果带来了很大的困难。这里就简单介绍一些我们在智能算法评测实...

    用户5521279
  • 智能算法评测系统实践(一)

    随着人工智能的发展,我们现在各个产品线中都融入大量的智能算法,方便了用户的同时也给我们评价产品的具体效果带来了很大的困难。这里就简单介绍一些我们在智能算法评测实...

    用户5521279
  • 软件品质评测系统-评测体系

    相信每个测试同学都会有这样的疑问,有时候评测效果很棒的项目,仍然会接到某些场景下的用户反馈,这个时候就需要我们重新思考应该怎么去整体的评估产品质量的好坏,怎么样...

    用户5521279
  • 智能算法评测系统实践

    评测系统的设计是整个评测系统的灵魂,决定了整个评测系统该怎么做,而且对后续产品算法的走向都起到至关重要的作用。

    用户5521279
  • “独立”评测自媒体,为何就成了一门简单粗暴的生意?

    12月3日,新榜上一则微信公众平台内测“洗稿投诉合议小组”,协助平台对有争议的“洗稿”内容进行合议的消息引起了自媒体圈的注意。按照已知的消息,如果用户接受邀请,...

    曾响铃
  • 中国没有莫博士,谁的失落?

    不知道莫博士还在评价罗王吵架的人,可以先歇菜了。莫博士(Walt Mossberg)1970年加入《华尔街日报》,1990年从时政记者转战科技评论及评测,这一转...

    罗超频道
  • TCP/IP网络编程-前三章学习笔记

    前两年, 就买了《TCP/IP网络编程》这本书, 由于自身基础薄弱, 只是走马观花翻阅了几张。

    用户2825413
  • JAVA单服务应用拆分成多个服务的实践(1)--拆分的设计思想

    最近跟朋友在沟通,问我私下作的开发平台支不支持拆分成多个微服务,让可以支持水平扩展. 我回去细想了一下,确实,现在做项目,如果不搞成多个微服务,都不好意思说,...

    星痕

扫码关注云+社区

领取腾讯云代金券