本文介绍云开发内容审核的使用场景,并演示如何使用内容审核功能。
内容审核介绍
什么是内容审核
内容审核是基于图像、文本、音视频的检测技术,可自动检测低俗、违法违规、色情、广告、图文违规等内容,对用户上传的图片、文字、音视频进行内容审核,以满足上传要求,帮助客户降低业务违规风险。
常见的内容审核方式有:
图像内容审核:
图像内容审核,利用深度神经网络模型对图片内容进行检测,准确识别图像中的敏感违法元素、违规内容等,帮助业务规避违规风险。
文本内容审核:
文本内容审核,采用人工智能文本检测技术有效识别违法违规、广告、辱骂、违禁品和灌水文本内容,提供定制化的文本敏感内容审核方案。
![](https://qcloudimg.tencent-cloud.cn/image/document/5087e82ef3edcd0a14a76cd83b68e440.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/5087e82ef3edcd0a14a76cd83b68e440.png)
云开发内容审核介绍
云开发内容审核 为托管在云开发内的内容(云数据库里存储的数据、云存储上存储的文件)提供快速的内容审核服务。可快速设置内容审核规则(审核范围、审核场景、违规后自动封禁处理),数据库文档变更后异步审核,文本内容秒级完成审核与处理。
![](https://qcloudimg.tencent-cloud.cn/image/document/82ccad96ed36d872d558043623a878c1.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/82ccad96ed36d872d558043623a878c1.png)
注意:
当前仅支持云数据库内的文档进行内容审核。
内容审核的常见场景
在当下的互联网环境下,内容审核可以说是无处不在,以一个论坛网站为例:小到一个用户的用户名注册内容审核、用户在评论区或留言区的评论内容审核,大到用户发帖的整个帖子的内容审核。
凡是能让用户自由输入内容的地方都需要对其内容进行审核,从而防止论坛被大量不良信息所围绕,造成网站服务器资源被浪费,严重的影响了网站形象,更有甚者网站站长可能会承担相关法律责任。
前提条件
操作步骤
单击一个按量计费环境,进入环境 > 内容审核 > 安全配置页面,在安全配置页可以看到有两大部分:审核规则和审核详情。
![](https://qcloudimg.tencent-cloud.cn/image/document/601beb75bcaa525c01e563794729170e.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/601beb75bcaa525c01e563794729170e.png)
步骤1:创建审核规则
在进行内容审核之前,需要先创建审核规则,即制定对哪些内容进行什么样的规则进行审核。
![](https://qcloudimg.tencent-cloud.cn/image/document/2d0576c90adfebf9de9bdd16ed56b6c8.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/2d0576c90adfebf9de9bdd16ed56b6c8.png)
1. 单击新建,开始创建审核规则。
![](https://qcloudimg.tencent-cloud.cn/image/document/3cb9a05c4b3ee91a6cb4915ed250b1d7.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/3cb9a05c4b3ee91a6cb4915ed250b1d7.png)
2. 选择对云数据库中哪个集合进行内容审核,例如需要对用户评论内容进行审核,则选择存储用户评论的集合,如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/234c67b5479ded9740c9372db5ad8a70.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/234c67b5479ded9740c9372db5ad8a70.png)
说明:
该下拉框中所列出的集合即是数据库中所有的集合,如果当前下拉框中没有集合,则您需要在左侧导航栏数据库中先创建一个集合。
3. 选择完集合后,还需填写对该集合下的哪个字段进行审核,例如需要对用户评论内容进行审核,则填写评论集合里的评论内容字段,如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/cf5799da0f180916f4c82bdfd88b4561.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/cf5799da0f180916f4c82bdfd88b4561.png)
4. 拟定一个屏蔽文案,当出现违规内容时,用于提示用户的信息,默认为:该内容已违规暂不显示。如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/21e2cd1674873ede799cb8a75494afc3.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/21e2cd1674873ede799cb8a75494afc3.png)
5. 开启对违规内容进行自动屏蔽开关。开启后,系统如果检测到某条内容违规,则会对内容进行自动屏蔽,并以4中拟定的自定义屏蔽文案进行重写。如果不开启,则只对内容进行审核打分,不自动重写屏蔽。一般建议开启,如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/e489a1c495cd0693c5ccf587d09c6485.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/e489a1c495cd0693c5ccf587d09c6485.png)
6. 开启后,需要选择审核场景,即对什么类型的违规内容进行审核,如谩骂、广告、违法、色情等。一般建议全选,如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/eb10a701a2e636c23fab62e9cf90ab47.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/eb10a701a2e636c23fab62e9cf90ab47.png)
说明:
违规类型后的审核分数是指:当系统对内容进行审核时,会对被审核的内容进行打分,分数越高表示内容违规程度越高,当打出的分数大于所填写的审核分数时,系统将会对内容进行自动屏蔽。
审核分数可理解为对当前违规类型的“容忍度”,分数越低表示容忍度越低,例如对违法信息零容忍,本着“宁可错杀一千,也不放过一个”的原则,即可将违法类型的分数填写的低一点(最低60分),这样系统一旦发现内容疑似属于违法信息,立即将其屏蔽。
7. 填写完审核场景后,最后单击勾选条款。
![](https://qcloudimg.tencent-cloud.cn/image/document/d43182ebca24c7cf189284ba692d1ee5.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/d43182ebca24c7cf189284ba692d1ee5.png)
单击确定。即可创建一条新的审核规则。
![](https://qcloudimg.tencent-cloud.cn/image/document/543bab1d5d675b751674494805121601.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/543bab1d5d675b751674494805121601.png)
步骤2:测试审核规则
审核规则创建完毕后,即可测试下创建的审核规则是否生效。
1. 单击左侧导航栏中的数据库页,进入到上述所选的集合中,单击添加文档,先添加一条正常的内容:
![](https://qcloudimg.tencent-cloud.cn/image/document/6a51cff8cac24d53f00cf8dad49dc2b2.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/6a51cff8cac24d53f00cf8dad49dc2b2.png)
如下图,对于没有违规的内容是会正常插入到集合中的。
![](https://qcloudimg.tencent-cloud.cn/image/document/2698e2f6665479322d8f7f58c1715670.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/2698e2f6665479322d8f7f58c1715670.png)
2. 再次添加文档,并尝试故意输入一些违规内容:
![](https://qcloudimg.tencent-cloud.cn/image/document/b9f4440c1f21cb5cd7b7b5efe2e2603a.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/b9f4440c1f21cb5cd7b7b5efe2e2603a.png)
如下图,插入的文档字段包含违规内容,已经被自动屏蔽重写了。
![](https://qcloudimg.tencent-cloud.cn/image/document/32bc96d8d46bd0bcbce08be9249e0031.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/32bc96d8d46bd0bcbce08be9249e0031.png)
以上说明创建的审核规则已生效。
步骤3:查看审核详情
1. 单击左侧导航栏中的内容审核页后,再单击顶部的审核详情,能看到审核平台的审核内容以及审核结果,如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/84f5ba6489c2537ab23dc828e6408a70.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/84f5ba6489c2537ab23dc828e6408a70.png)
2. 在测试审核规则时,第二次故意输入的违规内容已成功被审核系统监测到,并准确地识别出违规类型以及对内容的审核评分,如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/f689dafd386c31f08f5fa453ef9d8b49.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/f689dafd386c31f08f5fa453ef9d8b49.png)
3. 在某些特定的需求场景下,如果发现某条在特定场景下属于是正常内容,但被审核系统误判为违规内容时:
![](https://qcloudimg.tencent-cloud.cn/image/document/5ef656fec6b237f90c0091439122add2.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/5ef656fec6b237f90c0091439122add2.png)
可对该条违规记录进行回滚。
![](https://qcloudimg.tencent-cloud.cn/image/document/38e21854495ca430eab083023e3159b4.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/38e21854495ca430eab083023e3159b4.png)
回滚后该条内容在审核记录里的处理状态也变成了已回滚, 并且在数据库中该条记录也可正常显示。
![](https://qcloudimg.tencent-cloud.cn/image/document/cdbb77e5adec2a0e7f4be444664c4a20.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/cdbb77e5adec2a0e7f4be444664c4a20.png)