iFeedback智能分类

作者：perryprli  腾讯WXG工程师

|导语 iFeedback智能分类系统，提供了基于BERT模型分类和基于规则分类两种模式，通过对海量用户反馈进行快速自动化分类/打标签，提高了问题跟进和反馈分析处理的效率。

1

背景

iFeedback用户反馈平台目前接入了公司各BG应用300+个，日均反馈量1000万+，总反馈量70亿+。海量反馈内容多样，很多业务场景都需要对反馈进行分类处理。然而，人工分类效率低下，需要耗费大量的人力和时间。因此，我们提供了反馈智能分类功能，用户可以采用基于BERT模型或者基于规则的方法，对反馈进行快速分类，提高反馈分类和问题跟进的效率。

2

原理

iFeedback智能分类主要采用基于模型分类和基于规则分类两种模式，分别适用于不同的业务场景。用户可以根据自身的业务需求选择合适的分类模式。下面首先介绍基于模型分类的方法。

1. 基于模型分类

为了对反馈进行自动分类，我们提供了基于深度学习模型（BERT）训练分类器的方法，也就是基于模型的分类模式。整体流程如下：

1.1 数据准备

首先，用户需要准备用于训练分类模型的数据集。我们提供了以下三种方式来帮助用户快速构建训练集。

• 从真实反馈中添加样本

用户新建子类别之后，可以通过设置起止时间、关键词、添加自定义条件筛选出目标反馈，勾选反馈后然后点击“批量新增”即可将反馈数据加入新建的类别中，如下图所示：

• 自定义添加样本

此外，也可以添加自定义的样本作为训练数据，如下图所示：

• 批量导入数据

有的业务可能有积累一些人工标注的数据，用户也可以批量导入数据，支持excel、csv、txt这三种格式的文件。

1.2 模型训练

准备好训练数据之后，只需要在页面上点击“模型训练”即可自动进行分类器的训练。我们提供的分类器是基于BERT的分类模型。BERT是2018年Google发布的一个基于Transformer的双向语言模型，近几年在NLP各项任务中有着很好的表现，广泛应用在文本分类、阅读理解、自动问答、语义推理等领域。如下图所示，训练BERT模型分为Pre-training和Fine-Tuning两个步骤。我们是基于开源的BERT中文预训练模型，在用户构建的训练集上Fine-Tuning训练得到的分类器。

1.3 自动分类

训练完分类器后，系统会对iFeedback上该业务的反馈数据进行自动的分类，即每五分钟对开启了分类的各个业务的未分类数据进行模型预测并打上对应的类别标签，存储到我们的Elasticsearch数据库中。用户后续可以查看各个类别对应的反馈内容，进行分析统计。我们的模型训练和预测都是基于Rabbitmq+Celery框架，采用Docker的方式部署在微信Yard GPU机器上，如下图所示：

1.4 应用场景

接下来介绍一些应用场景和落地效果。

• Bug二分类模型

对于反馈大家关注的比较多的通常是Bug类反馈，因此我们首先训练的是Bug二分类模型，用于筛选Bug反馈，过滤掉闲聊、咨询建议类反馈。下图是Bug模型在测试集上的效果：

训练好Bug模型后，我们主要应用在iFeedback智能报警的后处理模块中，用于对误报进行过滤，提高报警的精度。整体流程是：对于每个候选报警，我们首先会提取TopN条反馈，调用Bug分类服务，统计该报警中的bug反馈占比，如果低于一定阈值，则认为不是Bug，过滤掉该报警。

下面这个表格统计了最近半年iFeedback部分业务的智能报警误报过滤效果。

部分被过滤掉的非Bug报警示例如下：

• 安全打击类模型

在微信部分业务中，有很多反馈都属于安全打击策略导致的用户投诉，比如限制收款、限制登录、无法加入群聊、操作过于频繁等类型的反馈。对于负责安全打击的同学来说，他们需要关注这一类反馈和报警；而对于负责其他业务的同学来说，这些则属于噪声，需要进行过滤。因此，通过训练安全打击类模型，对这类问题进行有效识别，一方面可以对反馈进行过滤，减少非安全相关同学的工作量；另一方面，我们对安全相关的报警会自动转发到安全相关的跟进群，提高问题发现的效率。

1.5 小结

基于BERT模型，我们提供了一套自动训练分类器的流程。用户只需要提供用于训练模型的数据集，而不需要关心具体的技术细节和训练过程，系统会自动地进行模型训练和预测。从而极大地降低了传统的模型训练的门槛，提高了自动分类的效率。

2. 基于规则分类

为了方便用户快速构建可解释、直观的分类体系，我们另外提供了基于规则的分类模式。用户可以通过设置关键词、黑名单词、自定义条件等简单的规则，对反馈进行快速分类。

2.1 规则设置

常见的规则如下：

• 关键词
• 黑名单词
• 自定义条件

• 反馈是否包含图片

2.2 应用场景

下面介绍一些应用场景和落地效果。

• 反馈分发

在某个业务中，通过设置自定义条件，根据路径分配不同的反馈给各个产品负责人，并且每天发送日报邮件给责任人。

• 某个直播业务的质量监控

通过设置一系列关键词和黑名单词组合，快速构建质量问题的分类体系，对直播质量进行有效的分析和监控。

从中可以分析质量问题分布情况和变化趋势：

2.3 小结

基于规则的分类方法的缺点在于规则难以覆盖所有情况（例如，难以穷举所有的关键词/黑名单词），因此通用性较差。但是，其优点也是显而易见的：

• 高效，配置完规则立即生效；
• 直观，可解释性强
• 适用于业务相关、定制化的场景
• 用户学习成本较低

3

总结与展望

我们构建了iFeedback智能分类系统，并提供了基于BERT模型和基于规则两种方法。两种方法各有优劣，分别适用于不同的业务场景，对比总结如下：

对于下一步的工作，一方面我们会继续优化分类功能和简化分类流程；另一方面，我们也会优化聚类算法，构建一个精细化的全量反馈跟进流程，提升iFeedback反馈平台对反馈的跟进处理能力。

近期热文

To B产品商业化的真相

视频号多模态学习应用初探

小商店从0到1的系统能力构建之路

让我知道你在看