产业安全专家谈｜企业如何基于AI搭建内容风控防线？

互联网时代以爆炸式增长，催生出大量数字化信息，极大丰富了我们的视野。然而海量信息良莠不齐，未经过滤的不健康、有害信息，对一些辨别能力较弱、自制能力较差的未成年人而言，则是极大的风险和伤害。

当前，网络信息内容安全相关的法律法规日益完善，明确提出对暴力、色情等违法不良信息的监管升级，并要求企业采用技术手段控制。内容安全风控势在必行，网络安全企业应当如何响应政策号召？哪些新兴技术手段可以更好助力品牌内容安全风控体系建设？腾讯安全高级应用研究员周维聪作客「中国信息协会网信大讲堂」，围绕AI技术在内容风控领域的落地与实践，分享不良内容的审核挑战及内容风控体系的整体构建思考。

Q1：当前在内容生产、上架的过程中，内容安全风控上存在哪些挑战？

周维聪：内容安全已成为重中之重，但在实际中，内容安全风控挑战主要体现在三个方面：

• 第一，内容安全审核标准非常多样化。不同的业务场景、不同的受众对内容的拦截有不同的要求。比如一把真枪，如果出现在军事节目中很正常，但出现在早教节目中就不合适。此外，还有一些风险类目难以标准化，以及一些模棱两可的内容，需要进行人工干涉，根据经验获取上下文信息语境，才能明确是否属于违规内容。
• 第二，在不同的形式内容中，存在大量对抗变异的形态。例如为图片配上涉黄的文字，并将文字转换成拼音表述以对抗机器审核。此外还出现AI技术生成的对抗变异内容，这些多模态变异内容大量存在，是我们内容安全治理时要应对的重点问题。
• 第三，需要迅速响应新增突发风险，甚至还要求对海量数据进行回溯，这对产品提出了更高的要求。比如去年突然封禁的槟榔广告，以及前段时间微博热搜上讨论的某版教材不良插图等，都需要我们在突发的风险中进行及时应对和处理。

Q2：针对内容安全风控面临的挑战，目前有哪些技术可以助力企业内容风控体系的打造？

周维聪：在内容风控体系中，除人审能力外，机审也是重要能力之一。腾讯安全一直致力于为企业提供各种场景内容风控的服务，通过应用前沿的AI技术，可以有效地帮助企业降本增效，释放人力投入，为业务健康发展保驾护航。

尽管内容来源于不同的场景，通过不同的形式展现，但归根结底还是音、视、图、文四个形态。我们底层AI技术，就是在视、音、图、文四个形态上构建机器整合能力，并以此为基础向上构建整体的审核能力。

图像视频的内容风控，第一个步骤是抽取关键帧图像信息进行预处理，继而结合不同模型匹配策略得到最终审核结果。比如色情低俗识别，本质就是图像视频鉴黄的重要手段。我们采用了业界顶尖的AI图像算法，配合精细化标签体系，高精度拦截色情低俗类图片视频，并支持灵活的策略配置适配不同的应用场景。

音频的内容风控，采用语音检测分割（SAD）技术将音频中的语音切分出来，并通过resnet主体模型，对每个音频片段推理、提取色情音频特征，最终借助AI模型可以智能进行低俗语音、未成年语音、语种识别等。此外，对语音内容，可采用ASR将语音转换成文字，将文本发送到文本内容风控系统帮助进一步审核。

文本内容风控则号称AI皇冠上的明珠，情况纷繁复杂，机器理解晦涩。我们积累了数十万行业敏感违禁知识，通过关键词+规则双引擎，可以快速匹配高精度的违规类型分类模型，在文本风控的过程中我们也会使用情感正负向识别以及序列标注等辅助文本识别。

Q3：在未成年人保护的内容风控场景中，AI技术如何落地实践？

周维聪: 腾讯安全联合信息安全部、优图实验室发起了“守护青苗行动”，主要涵盖以下功能：

• 过滤以未成年人为主体，含有不良信息的内容；
• 过滤对未成年人不宜内容、不良诱导的内容；
• 保护未成年隐私，打击盗用未成年人形象制作不良内容。

总结起来，“守护青苗行动”整合了在未成年色情低俗、隐私、暴力欺凌以及不良ACG、不良行为及信息方面的全方位风控能力，为未成年人营造清朗的网络环境提供助力。

首先，运用图像视频、音频、文本等AI识别技术判断内容对象是否为未成年人。在识别出未成年人后，进一步判定是否存在不良行为诱导的违规内容，还可采用图文跨模态AI技术识别是否盗用儿童形象制作和传播含有不良暗示、辱骂、挑衅等内容，从而守护未成年人内容场景的清朗健康。

Q4：腾讯安全内容风控体系是如何展开风险控制的？

周维聪：腾讯安全风控体系涉及的内容审核能力是更为全面的，针对不同的场景、不同媒体内容以及不同的客户要求，可以采用不同的策略帮助处理和应对内容风险，并可提供一系列辅助策略以应对突发情况。

图片

腾讯安全内容风控总体架构由五个层级构成，最底层的是数据层，上一层是算法能力层，也即是基于AI技术构建出来的模型能力。策略层可以支持客户不同的策略配置、策略编辑以及版本回溯，应用层则提供包含图片、视频、音频和文本的审核功能。顶层方案层，涵盖未成年人保护的方案、电商内容解决方案等，从更细分的内容场景出发提供内容风控整体能力。

Q5：面对当前内容安全风险，腾讯安全内容风控产品有哪些应对优势？

周维聪：实时、精准、高效、专业四个词可以概述我们的产品优势。腾讯安全的内容风控产品可以实时返回识别结果，策略调整支持秒级生效。高精准的识别准确率是产品功能的另一特点，我们覆盖了大量的审核标准体系，打造了精细化的标准体系，能够方便用户进行不同内容场景的风险应对。此外，7*24小时一对一策略调优、弹性扩容支撑，可以超大规模响应识别需求。

依托腾讯安全20多年安全经验，以及不断积累、积淀的行业知识，亿级算法训练样本，海量的内容专业库，甚至包括整个腾讯云上产品链路的整合打通，共同为各行各业提供内容安全服务能力。