摘要: 当你的产品集成了AI大模型来生成内容时,你就必须为AI的"不当言论"负责——AI可能生成涉黄暗示、违法引导、暴力描述甚至钓鱼话术。...腾讯云文本内容安全产品介绍:点击了解详情 限时优惠活动:立即查看促销价格 一、AI不是永远"安全"的 大语言模型在生成内容时,存在以下安全风险: 风险类型 说明 触发方式 违法引导 AI生成教唆违法、...鼓励危险行为的内容 恶意prompt注入 涉黄低俗 AI生成低俗暗示、涉黄行为描述 角色扮演诱导 暴力内容 AI生成暴力场景描述、武器制造指引 间接提问绕过 钓鱼话术 AI生成社工攻击话术、诈骗脚本 指令注入攻击...三、腾讯云TMS的AIGC审核能力 识别能力 AIGC场景应用 色情识别 拦截AI生成的低俗暗示和涉黄内容 暴恐识别 拦截暴力描述和恐怖主义内容 违法识别 拦截教唆违法、危险指引 广告识别 拦截AI被诱导生成的广告内容...自定义识别 针对特定应用场景的定制化拦截 四、AIGC安全审核最佳实践 4.1 输入+输出双向审核 输入侧:审核用户的prompt,拦截恶意注入 输出侧:审核AI的回复,过滤违规内容 4.2 分级处理策略
传统人工审核效率低、响应慢、容错率不足,难以适配短视频即时发布、高频更新的业务模式,搭建高效智能、可实时响应的短视频审核体系成为行业刚需。...智能化短视频审核可对视频全维度内容进行合规筛查,依托智能识别技术规避人工漏审、误审、审核滞后等问题,实现快速审核、结果实时返回。...在保障内容安全、规范平台生态的同时,大幅提升审核效率与用户发布体验,适配短视频高速分发的运营场景。本文聚焦短视频智能审核体系,详解审核机制、风险识别逻辑与标准化流程,为平台高效风控、合规运营提供参考。...应用场景短视频智能审核核心应用场景如下,覆盖平台主流风控需求:UGC投稿审核:针对普通用户上传短视频,全自动筛查色情、暴力、违规导向、侵权等内容,实时拦截风险稿件,保障公域内容合规。...二次创作审核:检测混剪、搬运、抄袭类短视频,防范版权侵权与低质同质化内容传播。流量分发审核:对热门、高播放短视频进行二次复核,杜绝违规内容随流量扩散,稳定平台内容生态。
本月,北京首次关停涉黄直播平台“夜魅社区”。此前,映客、花椒等在直播、陌陌等平台的数十位主播因涉黄被永久封禁,商业需求激增“鉴黄师”职业,“鉴黄”势在必行。...AI鉴黄效果怎么样,真否能解放鉴黄师? 识别色情、暴恐、时政敏感信息、小广告等违规图片和视频方面都要表现卓越,才能真正解放鉴黄师。...淘宝直播开播以来的所有处罚记录,机器可以自动处理掉大多数色情风险;需要人工审核的图片占比非常低,在淘宝直播场景大约为0.1%。...极限元 CEO 雷臻表示:目前直播平台涉黄图像检测的准确率高达99%以上,误报率低于1%,需要客户进行人工复核的比例不超过3%。...智能鉴黄相对于人工鉴黄、成本下降多少? 以一家月直播10万小时的中小直播平台为例,如果采用传统的内容审核技术,100人的内容管理团队每月所花费的成本在80万上下。
1.1 场景全景图 场景 审核对象 核心风险 风险等级 商品上架 商品主图、SKU图、详情图 违禁品、涉黄、虚假资质、侵权 ⭐⭐⭐⭐⭐ 买家评价 买家晒图、追评图片 广告引流、涉黄、竞品攻击 ⭐⭐⭐⭐...── Block → 拒绝上架 + 通知商家修改 重点检测配置: 检测维度 电商场景配置要点 涉黄/性感 内衣类目适当放宽性感阈值,其他类目严格 违法 重点检测违禁品(管制刀具、仿冒品标识) 广告 检测图中的竞品...重点检测二维码、微信号、手机号 涉黄 部分商品的"买家秀"可能含不当内容 自定义黑名单 竞品推广海报、已知黑灰产引流图 OCR文字 检测"加微信""私聊优惠"等引流话术 2.3 场景三:营销素材审核...) 涉黄/暴恐/性感检测 侵权内容(未经授权的品牌LOGO/代言人) 自定义黑名单 AI生成的虚假效果图 AI生成识别 2.4 场景四:客服沟通图片 售后场景中用户上传的图片也需要审核: 风险 说明...七、结语 电商平台的图片审核是一场涉及商品合规、消费者保护、平台安全的多维战役。只审核"涉黄"是远远不够的——违禁品、虚假宣传、竞品引流、AI假图,每一个维度都需要专项应对。
视频审核师每天都在看什么? 在文摘菌的印象中,审核师的工作就是看看用户上传到网站的视频,大概就像是…每天刷刷抖音就能轻松挣钱一样,可以说是梦寐以求的工作了。...不止是Peter和同事们,另一位视频审核师Daisy曾负责Google视频中的恐怖主义和儿童虐待内容的审核,从事这项工作后,她曾一度难以和孩子交流互动。...AI能拯救视频审核师吗? AI参与视频审核并非近几年才有,最早2000年左右,就有公司在做这方面的尝试。但那时,视频审核需要人为设定特征和规则,比如黄颜色皮肤面积分布情况。...YouTube的算法工程师向文摘菌透露,目前YouTube上大部分视频仍需要经过人工审核,被审核视频一部分是AI检测出来,一部分是用户举报的,但最终都需要专业的审核师把关决定是否违规。...“good”或“bad”,当审核师遇到标注有“bad”视频时再细致地审核,这也提高了审核效率。
摘要 视频审核不是鉴黄的同义词,而是覆盖画面、音频、文字三路信号,对涉黄、涉暴、违禁、版权、质量等多类风险的系统工程。...三、画面通道 3.1 任务分层 任务 类别 技术 涉黄检测 分类 + 关键区域分割 CNN + Attention 涉暴检测 场景识别 Video Transformer 违禁物品 目标检测 YOLO...5.2 文本审核要点 关键词库:黑名单 + 白名单 + 变体(谐音、拆字、火星文); 语义分类器:基于 Transformer 的多标签分类(涉黄、涉暴、仇恨、广告、政治敏感); 对抗鲁棒:对形近字、插入特殊字符做归一化...七、典型风险与处置 风险 示例 处置 涉黄 暴露画面 下架 / 打码 涉暴 暴力血腥 下架 / 模糊 违禁物 枪支、毒品 下架 / 人工复核 侮辱谩骂 音频脏话 静音 / 打码 广告软文 二维码、微信号...八、审核指标 指标 公式 目标 召回率 TP / (TP + FN) 95%(涉黄、涉政) 误伤率 FP / (FP + TN) < 1% 端到端延迟 上传到结果返回 视频(离线) 吞吐
错过色情画面、暴力镜头 ❌ 只能看到文字部分 ❌ 漏掉画面中的违规文字 ❌ 漏掉画面中的违规元素 ❌ 覆盖面极其有限 现实案例:某平台只做画面审核,结果一条视频——画面是正常的风景,但音频全程都在播放涉黄内容...因为没有音频审核,这条视频在平台上存在了3天才被用户举报发现。 教训:视频是多模态媒体,审核也必须是多模态的。...二、三维审核深度详解 维度一:画面审核 识别类型 具体内容 色情识别 直接裸露、隐晦涉黄、漫画色情、涉黄物体、性行为 暴力识别 血腥画面、暴力行为、恐怖元素 违法识别 违禁物品、赌博场景、涉毒画面 广告识别...维度三:OCR文本审核 识别类型 具体内容 违规文字 画面中出现的涉黄、涉政、违法等文字 联系方式 手机号、微信号、QQ号等引流信息 广告文字 促销文案、虚假宣传语 字幕内容 视频字幕中的违规内容 三...万分钟/年65,000元32,500元(约2,708元/月) 提示:点播视频套餐包已包含由视频审核引起的图片和音频审核费用,无需额外购买。
单模态审核的致命盲区 来看几个真实场景: 场景 违规方式 单模态审核结果 社区帖子 图片正常,但配文含暴力引导 ❌ 图片审核通过,文字违规漏检 直播间 画面正常,但主播语音涉黄 ❌ 视频截帧审核通过,音频违规漏检...二、腾讯云天御内容安全产品矩阵 腾讯云天御(T-Sec)内容安全解决方案由四大核心产品组成: 产品 英文缩写 审核模态 核心能力 图片内容安全 IMS 图片 涉黄/暴恐/违法/广告/自定义识别 + AI...生成识别 文本内容安全 TMS 文本 敏感词/涉黄/暴恐/广告/自定义词库 音频内容安全 AMS 音频 语音转文字+音频审核,识别违规音频 视频内容安全 VMS 视频 截帧审核+音频提取+字幕识别 加上...↓ 可疑房间预警/强制下线 协同价值: 当主播画面正常但语音涉黄时,单靠视频截帧审核无法检出,AMS的音频审核能力补上了这个盲区。...(涉黄/暴恐/违法/广告等) 视频截帧依赖 VMS的截帧审核依赖IMS的图片识别能力 OCR提取 IMS的OCR能力为文字审核提供图片中的文字内容 AI鉴伪唯一入口 AI生成识别服务通过IMS接口调用
本文全面解析腾讯云TMS的七大类违规识别能力,带你重新认识"文本审核"的真正内涵。...腾讯云文本内容安全产品介绍:点击了解详情 限时5折优惠活动:立即查看促销价格 一、你以为的文本审核 vs 真实的文本审核 你以为的文本审核:建一个脏话词库,匹配到就删帖。...真实的文本审核:需要识别数百种违规类型,应对数十种变体手法,在毫秒级内完成判断,覆盖从显性违规到隐性暗示的全部风险。 如果你的审核系统只能过滤"脏话",那你大约只覆盖了10%的内容风险。...二、七大类违规内容深度解析 第一类:色情内容 不只是露骨的色情描述,还包括: 性暗示和擦边球表述 色情段子和黄色笑话 涉黄交友引流信息 使用谐音、拼音、emoji的隐晦色情内容 腾讯云TMS的变体识别能力...诈骗话术和钓鱼信息 黑灰产宣传(代开发票、洗钱等) 第四类:谩骂内容 脏话辱骂和人身攻击 地域歧视和群体攻击 阴阳怪气的隐性攻击 使用变体的侮辱性言论 第五类:广告内容 垃圾广告和恶意刷屏 微商引流和代购推广 涉黄引流广告
VIPKID 直播流传输到 COS 对视频帧进行审核 ? 对于教学中裸露身体的场景,COS内容审核支持根据审核分数进行灵活配置,控制涉黄尺度。...如上图,是VIPKID使用内容审核的应用流程:学生在直播上课时,直播数据传输到VIPKID的服务器,VIPKID将直播的视频进行截帧传给COS,COS为其进行涉黄、涉政、广告的审核,审核完后将数据传输给...内容审核核心优势: COS存储+内容审核,一键开启一站式完成内容审核,无额外流量消耗; 成本最优,按截帧频率收费,可以根据场景和涉敏概率,灵活控制截帧数; 机器识别+人工复检,确保审核结果的准确率高达99%...图片识别场景包括: 色情:识别多种涉黄违规类型的图片,如色情漫画、涉黄图片等 广告:识别多种形式的广告图片,包括网络小广告、微商商品图片、招嫖广告等 违禁:识别多种违法违规内容,包括抽烟吸毒、赌博、打架斗殴等...视频审核 利用视频截帧能力将视频帧进行图片审核,可自定义截帧频率,有效降低视频审核成本。
随着视频互动、语聊交友等场景应用的飞速发展,用户的内容也以多种形态在广泛的传播,如何有效的识别应用中潜在的涉黄、涉暴、低俗等不良内容,已经成为了行业的课题。...告别自建审核系统 很多音视频社交平台的审核系统包括三段:截取音视频内容,调用内容审核服务和人工确认审核结果,但是随着平台规模的快速增长和不良内容的多变,自建审核系统维护成本越来越大。...针对这种情况,TRTC上线审核服务,客户只要开启了语音审核和视频审核功能,就能快速检测所有音视频互动内容,对不良内容实时告警,有效解决审核痛点,让平台专注内容运营。...视频内容检测 对于开启了视频内容检测服务的客户,TRTC 通过旁路直播功能将视频流推到云直播服务,云直播从视频流中定期截取图片,并将截取的图片送给天御的图像审核服务进行不良内容鉴定,天御完成审核之后通过回调接口通知客户审核结果...如何接入视频鉴黄 依托云直播的能力,在实时音视频控制台开启旁路直播后可对实时视频流进行鉴黄处理。视频鉴黄功能默认关闭,可登录云直播控制台开启,接入详情请点击“阅读原文”。
为了应对网站的视频流量巨大,所以很多网站采用了视频智能审核技术,那么视频智能审核用什么技术呢? 视频智能审核用什么技术?...视频智能审核用什么技术是许多外行人想要了解的一个问题,面对短视频平台每天那么多的更新内容,视频审核是用什么技术来完成的?...其实很多的视频平台现在使用了一些非常高端化的视频过滤审查系统,这些智能审核可以在海量的视频内容中通过大数据筛选以及过滤,从而寻找和识别到那些违法违规的图像画面进行拦阻。 视频审核当中遇到的难点?...在没有智能审核技术之前,短视频平台的视频审核当中会遇到许许多多的难题。比如面对庞大的原创视频内容,人工审核所面对的工作量也是巨大的,根本不可能24小时无间断的去审核视频内容。...以上就是视频智能审核用什么技术的相关内容,高端的视频智能审核软件能够有效的解决视频网站审核难审核慢的问题。
目前短视频是一个非常流行的平台,人们通常会利用各种各样的短视频平台分享自己的快乐。对于平台来说,视频内容自动审核能省下很多的时间,尤其是在人工方面会减少成本。...一个视频需要进行两次审核,第1次是初审,第2次是复审,初审主要就是自动审核,复审就是需要通过人工进行审核。 视频内容自动审核包括什么 包括了审核视频当中的文字,还有图像等等是否符合要求。...视频内容自动审核的作用 自动审核可以省下很多的人力成本,因为自动审核的意义就是通过电脑技术来进行审核。能够将视频内容当中的每一帧一个图片进行识别,然后检查是否有违规的词语或者是图片。...如果是用人力去审核的话,审核人员需要观看每一个视频内容,非常的浪费时间。如果一审是自动审核,二审是人工审核的话,对于视频内容方面的把控会更加细致,减少违规视频的出现。...视频内容自动审核的技术已经发展的非常迅速,不少平台还在不断的优化其审核技术,希望可以通过技术来减少人力成本。不仅能够为公司省下一笔开销,还能够让平台的视频内容更加丰富。
视频平台每天都提供大量的视频给各位,而这些视频背后都是有一群创作者进行制作的,平台也会用短视频智能审核软件对这些视频进行审核识别,尽量给各位展现正能量的视频。...短视频智能审核软件 短视频智能审核软件是每个视频平台用来审核创作者发布的视频,基于互联网的视觉技术对短视频各个方面进行识别审核。...人工智能审核是初步,视频平台会不定时对一些作品做人工审核,因此各位要认真做好视频内容,不要觉得过了智能系统审核那一关就可以了。...智能审核好还是人工审核好 有人喜欢智能审核,也有人喜欢人工审核,各有各的好处,但两者结合起来就会更好。先让智能审核一遍,智能审核不了的就转给人工审核,这样就能更有效的抵制住不健康的视频产生。...如果仅仅是人工进行审核,面对大量的短视频,很容易审核出错,而智能审核就不同,审核大量短视频也不会有任何疲惫感,最重要的是,对每一位视频内容创作者都公平。 上面就是关于短视频智能审核软件的相关内容讲述。
使用探探交友软件后,经常能看到一些穿着性感暴露的女性(用户)照片,涉黄用户把招嫖的微信号和QQ号发布在头像和签名上,诱导用户添加。经网友举报后,情况依旧没有得到解决。
网站被封禁有很多原因,其中最常见的就是网站内容违规,即网页包含了涉黄、广告等违法违规的内容,那么如何有效管理网站内容,防止网站被封呢? ...在此基础上,我们可以基于数据万象 CI 的一站式内容审核服务,对存储在 COS 中的图片、视频、语音、文档等静态资源进行多场景的审核,从而有效地识别并冻结色情低俗、违法违规、恶心反感等违禁内容,防患于未然...,这样就再也不用担心你的网站突然被封啦~ 静态资源审核 静态资源审核可以对媒体库中的图片、视频、音频、文档进行审核,识别并冻结涉黄、广告、恶心反感等违法违规内容,避免违法违规内容在网站上传播,防范封禁风险...上述两种审核配置都支持用户自定义审核策略,通过设置自定义策略可以定制涉黄涉政等个性化场景的审核;审核后支持按照指定的分数范围进行冻结,智能机审+精确人审的方式帮你有效避免违法内容的传播;审核结果可以通过配置的回调链接返回给用户...,对存储在 COS 中的图片、视频等静态资源进行多场景的审核。
图片识别场景包括: 色情:识别多种涉黄违规类型的图片,如色情漫画、涉黄图片等 广告:识别多种形式的广告图片,包括网络小广告、微商商品图片、招嫖广告等 违禁:识别多种违法违规内容,包括抽烟吸毒、赌博、打架斗殴等...2、视频审核 利用视频截帧能力将视频帧进行图片审核,可自定义截帧频率,有效降低视频审核成本。...审核的结果可在控制台可视化展现,还支持视频违规自动或手工冻结,拥有和图片审核一致的识别场景。...还兼容各种地方口音的普通话,高效协助用户审核处理视频直播、语音直播或对话等场景产生的音频数据。...3、通过API调用 通过调用内容审核的API接口,用户可以实现对存储桶内指定的文件进行涉黄、广告引导等内容的检测。
喜欢玩短视频的人都知道,如果想要发布视频,平台会进行审核,无论是从图像还是音频方面都会进行审核。...但是现在技术发展的足够快,审核视频的方式也变得越来越多元化,尤其是人工智能技术的出现,为不少平台在审核视频方面创造了便利。究竟人工智能怎么审核视频?人工审核和智能审核哪个准确率更高?...人工智能怎么审核视频 人工智能怎么审核视频?人工智能审核视频的方式就是将用户上传的视频进行截取,针对截取的每一段视频进行审核,而不是将视频全部浏览一遍。...因为截取的视频,可以更清楚的观察到视频中的图像,检测起来会更加的准确。虽然智能审核一遍以后,还会再进行人工审核。但如果智能审核的准确率已经足够高了,人工审核会更方便些。...首先是进行智能审核,因为智能审核就可以帮助平台简单过滤一下视频,如果智能审核发现了违规的内容,可以直接阻止视频上传。此时就无需人工再审核一遍,人工的工作量会因此大大减少。
摘要: 图片审核不只是检测涉黄,一张图可能涉及涉黄、暴恐、违法、广告等多种风险。本文以腾讯云IMS为框架,逐一拆解四大风险类型的定义、场景和检测要点。...1.1 定义与范围 涉黄检测是图片审核中最基础也是最重要的能力,覆盖以下子类: 子类 说明 典型表现 直接裸露 明确的色情内容 人体敏感部位裸露 漫画色情 二次元/动漫色情内容 色情漫画、H游戏截图...隐晦涉黄 暗示性但不直接裸露的内容 性暗示姿势、擦边球 性感内容 非色情但挑逗性的内容 大面积露肤、透视装 1.2 为什么难检测?...1.3 腾讯云IMS的应对 将"涉黄"和"性感"拆分为独立检测维度,提供更细粒度的分级 支持漫画色情、隐晦涉黄等"变体"识别 融合数十种算法模型,有效识别遮挡、风格化等规避手法 二、风险类型二:暴恐检测...相比全量人工审核,效率提升显著。
违规内容成了平台审核之痛,发展之殇。在此背景下,主管部门重拳出击,多个短视频平台遭约谈、整改、下架。...短视频、直播平台持有对违规内容绝不姑息的坚定立场以及从严处理的决心,在投入庞大资金的同时,并已开始大幅度扩大审核团队,加大人工审核力度进行紧急应对。...然而,由于视频量巨大,人工审核力有不逮,在加大人工审核力度之外,金山云金睛——一站式AI内容安全服务为视频平台提供了全新的解决方案。...“金睛”基于精准AI算法模型,支持涉黄、涉恐、涉政、不良广告等多种违规场景的内容审核,同时提供直播实时AI内容安全监管服务、短视频AI安全审核解决方案,从而有效净化网络环境。...基于深厚的大数据沉淀,金山云“金睛”对违规场景进行精细化标签,目前分别支持200+暴恐类标签识别和1000+敏感人物识别,鉴黄识别方面准确率超过99%。 ?