首页
学习
活动
专区
工具
TVP
发布

构建用户安全评级,UGC智能化审核应用实践

导言

将人工智能(AI, Artificial Intelligence)技术,用于审核互联网上用户生产内容(UGC,User Generated Content)日益广泛,能够提高人工审核的效率。AI 审核既要考虑单个内容的违规情况,也要延伸到发布该内容的用户维度上。本文将分享智能化审核在爱奇艺审核业务中的实践和应用:对用户的安全性进行建模和评级,同时结合 AI 内容安全检测,实现更智能化、更高效的 UGC 审核策略。

背景

互联网内容安全审核,即对用户生产的视频、音频、图片、文字等内容进行审查,合规的内容才能发布,以净化网络环境。

目前业界采用的审核策略是 AI+人工。其中 AI 策略主要是采用深度学习模型,从图片、文本、音频等内容维度,智能识别其中的涉政、涉黄、暴恐等违规信息,即 AI 内容安全检测。图 1 是当前主流的智能化审核解决方案。

图 1:主流的智能化审核解决方案

然而,搭建一套 AI 内容安全检测服务的成本较高:一方面,针对涉黄、暴恐等不同的违规类型,需要大量、分类别、高质量的标注数据,主要是人工标注;另一方面,为达到可用的准确率,普遍采用深度模型,训练和推理都依赖昂贵的 GPU 资源。

业界也考虑到,内容的安全不应只在单个内容上,还需要结合更高的维度,如上传内容的用户,主要有两个形式:1,建立用户黑、白名单;2,基于用户历史数据,定义运营规则,给用户打分。这种方案存在准确度低、误判高的问题。

为了优化上述问题,本文借鉴用户风控的思想,提出了用户安全评级:采用机器学习算法,对用户的信誉度、安全性进行建模,能够预测用户的未来表现。之后,再结合 AI 内容安全检测和人工审核,制定灵活的审核策略,实现了智能化审核,并在爱奇艺审核业务中落地。

UGC 智能化审核

方案设计

本文提出的 UGC 智能化审核方案,主要包含两个部分:

用户安全评级。评估用户的安全性,一方面,为了可量化、更客观,主要从用户上传内容的通过率、高危率等维度进行衡量。另一方面,为了具有前瞻性,采用 AI 算法,对其进行预测。

智能化审核策略。用户上传一条内容后,将优先调用其安全评级,对高等级用户的内容,可以不调用 AI 内容安全检测服务。并且可以影响审核优先级,用户等级越高,审核的耗时越短。

因此,该方案具有以下优势:

1.用户安全评级定义客观,并具有未来预见性,因此准确度高;

2.节约成本。用户安全评级不依赖人工标注,并且计算轻量。也减少了 AI 计算资源;

3.降低合规内容的审核耗时,提升用户体验;

4.辅助审核,提高人工审核效率。

用户安全评级

用户安全评级的建模,采用了自监督的机器学习方案。首先,收集用户历史上传和审核数据、用户画像、用户注册认证等业务方数据;然后,统计计算用户的特征,并自动化标注其安全等级,从而形成训练数据;之后,结合业务特点,进行提取、筛选、变换等特征工程;最后,选择合适的 AI 算法,进行模型训练,并评估效果。整体流程如图 2

图 2:用户安全评级的构建流程

——用户安全评级的无监督标注

用户安全评级,是以用户上传内容的审核结果表现为标准,划分为不同的安全等级。等级越高,其生产的 UGC 越安全,即审核通过的概率越高、违规的程度越低; 反之亦然。

用户安全等级的标注,同时要具有一定的预见性和前瞻性,所以主要参考用户在“未来”一段时间内的表现,历史的表现为辅。另外,如果采用人工标注的方式,一方面,评估标准不好确定,难度大;另一方面,用户的表现是变化的,需要经常标注一批用户等级,以保持模型更新迭代,很耗人力。

为此,本方案采用了无监督标注、客观直接的等级评估标准。不同时间区间(如未来 1 天,历史 1 天、7 天)设置不同的权重系数,加权计算每个用户的综合通过率 PassRate, 

其中,pi为一个用户在时间区间 i 内生产内容的审核通过量,ti为该时间区间内生产内容的总量,wi为相应时间区间的权重系数。

再结合置信度(如通过率方差、上传总量),定义各个安全等级的标准,从而将每个用户划分到对应的等级。比如,共划分 10 级。

——特征工程及模型训练

所需特征,主要是用户在审核业务中的历史行为,如在历史近 1 天、7 天、30 天等各时间区间内的通过率、上传量、高危量等维度的特征。同时,也可以尽可能从其他业务方收集用户的数据,例如,用户的注册信息、用户画像、被举报等数据,能从一定角度反应用户的安全性。

有了用户的特征数据,和上小节中的用户安全等级标注进行拼接,构造出训练数据,样本形式如表 1

表 1:用户安全等级模型的样本

构造完训练数据之后,便可以选择合适的算法,进行特征工程,和用户安全等级模型的训练。

用户安全等级模型,属于多分类问题。考虑到特征中连续值较多的特点,选用 GBDT 算法(Gradient Boosting Decison Tree,梯度提升决策树),并选用了 XGBoost 开源框架。XGBoost 是 GBDT 的高效实现,具备运行效率高、健壮性好等特点。

为减少特征工程,提高预测的准确度,也采用了 DeepFM 深度学习算法,并改进了网络结构,见图 3。比如,将通过率特征分桶转化为 one-hot 特征,支持 multi-hot 类型特征。最后,会将 GBDT 和 DeepFM 两个模型的预测结果进行融合。

图 3:用户安全等级的 DeepFM 网络结构

由于整体用户的表现会随时间有变动,为了保证模型效果的稳定性,模型会定期地自动化更新。因为是无监督标注,所以模型更新很简便:统计计算每天的用户特征和对应的等级标签,即当天的样本,再和历史样本合并,得到训练样本,随机划分训练集和测试集;然后分别训练 GBDT 和 DeepFM 模型;并在测试集上评估效果,若效果达到预设的阈值,即可发布到线上服务。

——模型优化

UGC 审核不通过的原因有很多种,有广告、灌水等普通违规类型,也有涉政、色情等高危违规类型。高危内容的影响恶劣,危害极大,为了识别这类内容,本文特别重点关注。用户安全等级模型,由于主要以用户通过率为标准,对于高危违规内容的预测能力较弱。为此,专门增加了一个高危用户的检测模型,用于预测用户在未来几天是否会发布高危违规类型的内容。

高危用户的标注,和用户安全等级的标注类似,但更简单,主要是看用户在未来几天是否发布了高危内容。用户特征也与用户安全等级模型的相似,构造出的训练数据形式如表 2

表 2:高危用户检测模型的样本

高危用户检测模型,属于二分类问题,主要在于召回高危用户,筛选出高危内容,以降低平台的风险。算法也选用了 GBDT 模型与改进的 DeepFM 模型。具体流程如图 4

增加高危用户检测模型后,大幅提升了对高危用户和内容的检测能力。

图 4:用户安全评级的综合流程

——模型推理

得益于公司完善的大数据处理平台和机器学习平台,训练数据的收集和计算,用户安全等级模型和高危用户检测模型的训练、评估和推理部署,能够很方便、高效地完成。

当某用户上传了一条内容,首先可能会经过用户风控等环节,决定用户能否上传内容。上传成功后,进入审核流程:基于用户 ID,先获取模型所需的用户特征,再实时请求用户等级模型和高危模型的线上推理服务,从而获得用户的安全等级和高危结果。

将两种预测结果融合,确定最终的用户安全类别。首先,对于十级的安全等级,根据各业务的实际情况,可将 1-10 安全等级灵活地划归为高、中、低三个等级,如 9~10 级为高等级用户;5~8 级为中等级;1~4 级为低等级。然后,结合是否高危,最终划分为三类用户:安全用户、一般用户、危险用户,如表 3

智能化审核策略

得到用户的安全类别后,可以灵活地配置不同的审核和发布策略,实现智能化的审核。例如,可以定制表 3 策略:

表 3:用户类别划分及智能化审核策略

无论是极速通道,还是普通通道,经审核后发布到线上的 UGC,还将监测其在线上的曝光量、曝光时长、举报等指标,当达到一定阈值时,将其召回,回流到监控审核流程。这种策略,使得所有的内容,都会经过交叉审核、人工审核,并且可能会经过多次人工审核,确保了内容的安全可控。

对于各个 UGC 在人工审核时的优先级,上传用户的安全等级将作为一项重要因子参与到优先级的计算,最终的优先级还会参考内容的上传时间、是否新用户上传等多种因素。安全评级越高,其上传的 UGC 越优先被审核,降低了合规 UGC 的审核时长。

综上所述,智能化的审核策略如图 5 所示:

图 5,智能化审核策略

总结

本方案构建了一套用户安全评级模型,定义了以通过率和高危违规与否为主要衡量指标的用户安全标准。无监督标注数据,基于各维度的历史行为和属性等特征,训练得到用户安全等级模型和高危用户检测模型;并融合两个模型的结果,准确地预测出用户的安全类型。之后,再结合 AI 内容安全检测的结果,筛选出安全的内容,极速通道审核发布。既降低了 AI 内容模型的计算资源和时间消耗;又大幅缩短了审核发布时间,提升了用户体验;并且,通过人工审核,确保了内容的安全可控。

该智能化审核方案在 UGC 视频审核业务上线后,AI 内容模型的计算资源减少了 25%;优质视频的平均审核时长缩短了 80%。

后续,将继续探索通过优化标注方案和改进算法模型,以提高用户安全类别的预测准确性;同时对于图文审核、直播审核等业务,分别训练模型,以赋能更多业务。从而持续提升审核的时效和效率,优化用户体验,保障爱奇艺的内容安全。

本文转载自:爱奇艺技术产品团队(ID:iQIYI-TP)

原文链接:构建用户安全评级,UGC智能化审核应用实践

  • 发表于:
  • 本文为 InfoQ 中文站特供稿件
  • 首发地址https://www.infoq.cn/article/1BhQwZNfEqFlBwctpjZv
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券