效果类评测之数据标注踩过的坑

小编最近被公司安排负责效果类的评测，因为效果类评测的数据结果判断标注比较主观，机器和算法无法正确判断，需要人工参与。所以涉及到数据标注的相关工作。因为之前未做过类似的工作，有很多未想到的问题，现分享给大家，希望大家少走弯路。

一、遇到的问题

1. 用户数据各种各样，需求方未看真实用户数据，提供的标注规则特别宽泛，标注过程中遇到规则未涉及的问题特别多，规则沟通成本大； 2. 需求方需要评测的需求属于实验功能，导致规则一直变化，有时第一天的规则与第二天的规则完全相反，人力浪费； 3. 需求方提供的辅助信息少，后期标注过程中发现问题时再沟通，增加人力沟通成本； 4. 标注人员因为不是测试出身，对标注数据的功能体验不足，对功能背后逻辑认知浅，导致在标注规则理解上存在偏差，导致准确率不高； 5. 标注任务紧急，对标注规则理解不深就开始标注，导致标注准确率不高； 6. 一些逻辑性比较强的标注任务，标注的准确率非常低； 7. 试标注是标注人员进行，因为本身理解能力及对评测功能的认知度不够，导致发现的问题少，导致部分问题在审核数据时才暴露。

二、解决方案

针对上面的问题，主要从三方面进行改善。一方面是提升标注人员能力，另外一方面是通过优化流程减少不必要的人力成本。第三方面是通过工具辅助标注人员进行标注。 1. 标注人员能力提升 1）针对具体标注任务，每个标注人员对标注错误的数据分析具体原因，针对不同的原因“对症下药”； 2）增加考核，强制要求标注人员体验输入法功能，提升对标注功能的理解度； 3）梳理标注规则及遇到会存在的问题，对标注人员进行培训； 4）对标注的任务画出逻辑判断流程图，通过流程图辅助标注人员理解标注规则； 2. 流程优化 1）增加标注需求提交流程，提交内容包括功能介绍、准确率要求等信息； 2）正式介入标注前，增加试标注环节，通过试标注发现问题提前补充标注规则； 3）试标注负责人也参与，补足标注人员发现不了的问题； 4）增加标注人员进入标注的流程，标注准确率不达标，不能进行正式标注，一直进行培训直到准确率达标； 5）需求方提标注需求时要提供最少100条的标注case； 3. 通过工具辅助标注 1）开发相关工具，通过工具先对部分进行预标注，辅助标注人员，提升标注效率及准确率； 2）调研数据标注平台，在标注过程中就开始审核数据，提早发现问题，提升效率。

以上就是在效果类评测中关于数据标注遇到的一些问题及想到的一些解决方案。大家有更好的建议或者方案，欢迎留言讨论交流。

写在最后

追梦之行，小编一直在路上，希望与你同行，一起成长。搜狗测试欢迎你分享自己的经验，帮助更多的人。