首页
学习
活动
专区
圈层
工具
发布

AIGC应用必须过的安全关:如何审核AI生成内容中的违法、涉黄、暴恐风险?

摘要: 当你的产品集成了AI大模型来生成内容时,你就必须为AI的"不当言论"负责——AI可能生成涉黄暗示、违法引导、暴力描述甚至钓鱼话术。...监管对AIGC应用的内容安全要求日趋严格,合规审核已成为AIGC产品上线的必要条件。本文解析AIGC应用面临的内容安全风险,以及如何使用腾讯云TMS为AI输出内容加上"安全过滤层"。...限时优惠活动:立即查看促销价格 一、AI不是永远"安全"的 大语言模型在生成内容时,存在以下安全风险: 风险类型 说明 触发方式 违法引导 AI生成教唆违法、鼓励危险行为的内容 恶意prompt注入 涉黄低俗...AI生成低俗暗示、涉黄行为描述 角色扮演诱导 暴力内容 AI生成暴力场景描述、武器制造指引 间接提问绕过 钓鱼话术 AI生成社工攻击话术、诈骗脚本 指令注入攻击 有害信息 AI生成错误的医疗、法律建议...三、腾讯云TMS的AIGC审核能力 识别能力 AIGC场景应用 色情识别 拦截AI生成的低俗暗示和涉黄内容 暴恐识别 拦截暴力描述和恐怖主义内容 违法识别 拦截教唆违法、危险指引 广告识别 拦截AI被诱导生成的广告内容

1.2K10

“黄暴”视频看出心理阴影,内容审核师能被AI拯救吗?

视频审核师每天都在看什么? 在文摘菌的印象中,审核师的工作就是看看用户上传到网站的视频,大概就像是…每天刷刷抖音就能轻松挣钱一样,可以说是梦寐以求的工作了。...不止是Peter和同事们,另一位视频审核师Daisy曾负责Google视频中的恐怖主义和儿童虐待内容的审核,从事这项工作后,她曾一度难以和孩子交流互动。...AI能拯救视频审核师吗? AI参与视频审核并非近几年才有,最早2000年左右,就有公司在做这方面的尝试。但那时,视频审核需要人为设定特征和规则,比如黄颜色皮肤面积分布情况。...YouTube的算法工程师向文摘菌透露,目前YouTube上大部分视频仍需要经过人工审核,被审核视频一部分是AI检测出来,一部分是用户举报的,但最终都需要专业的审核师把关决定是否违规。...“good”或“bad”,当审核师遇到标注有“bad”视频时再细致地审核,这也提高了审核效率。

6.4K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    人工审核团队成本高企?AI视频审核如何大幅降低审核开支

    摘要: 一支规模化的视频审核团队,年度总成本往往高达数百万元——这还不算招聘培训周期、人员流动成本和管理开销。...随着视频内容量的指数级增长,纯人工审核模式已经走到了尽头——人力成本不断攀升,审核效率却难以线性增长。...本文通过成本模型对比,展示AI视频审核如何帮助企业大幅削减审核开支,同时反而提升审核质量和覆盖面。...——某短视频平台运营VP "之前最大的问题是审核标准不一致,同一条视频不同审核员判断不同,用户投诉很多。接入腾讯云VM后,算法标准完全统一,相关投诉明显减少。"...AI处理95%的标准化审核工作,人工专注5%的复杂判断——这就是2026年视频审核的最优模式。 每天节省的审核成本积少成多,一年下来数字相当可观。还等什么?

    90310

    视频智能审核技术解析:画面+音频+文字三位一体的内容安全防线

    摘要 视频审核不是鉴黄的同义词,而是覆盖画面、音频、文字三路信号,对涉黄、涉暴、违禁、版权、质量等多类风险的系统工程。...三、画面通道 3.1 任务分层 任务 类别 技术 涉黄检测 分类 + 关键区域分割 CNN + Attention 涉暴检测 场景识别 Video Transformer 违禁物品 目标检测 YOLO...5.2 文本审核要点 关键词库:黑名单 + 白名单 + 变体(谐音、拆字、火星文); 语义分类器:基于 Transformer 的多标签分类(涉黄、涉暴、仇恨、广告、政治敏感); 对抗鲁棒:对形近字、插入特殊字符做归一化...六、融合决策:从三路信号到一个判定 三路结果如何融合?...七、典型风险与处置 风险 示例 处置 涉黄 暴露画面 下架 / 打码 涉暴 暴力血腥 下架 / 模糊 违禁物 枪支、毒品 下架 / 人工复核 侮辱谩骂 音频脏话 静音 / 打码 广告软文 二维码、微信号

    1.3K10

    一文看懂:腾讯云天御内容安全全家桶(文本+图片+音频+视频)如何协同作战

    二、腾讯云天御内容安全产品矩阵 腾讯云天御(T-Sec)内容安全解决方案由四大核心产品组成: 产品 英文缩写 审核模态 核心能力 图片内容安全 IMS 图片 涉黄/暴恐/违法/广告/自定义识别 + AI...生成识别 文本内容安全 TMS 文本 敏感词/涉黄/暴恐/广告/自定义词库 音频内容安全 AMS 音频 语音转文字+音频审核,识别违规音频 视频内容安全 VMS 视频 截帧审核+音频提取+字幕识别 加上...三、四大产品如何协同作战?...↓ 可疑房间预警/强制下线 协同价值: 当主播画面正常但语音涉黄时,单靠视频截帧审核无法检出,AMS的音频审核能力补上了这个盲区。...(涉黄/暴恐/违法/广告等) 视频截帧依赖 VMS的截帧审核依赖IMS的图片识别能力 OCR提取 IMS的OCR能力为文字审核提供图片中的文字内容 AI鉴伪唯一入口 AI生成识别服务通过IMS接口调用

    97310

    从3000张免费试用开始:零基础接入图片内容安全服务完整教程

    摘要: 腾讯云IMS提供3000张/15天免费试用额度,零成本验证图片审核能力。本文提供从注册开通到API调用的完整教程,零基础30分钟即可完成接入。.../暴恐/违法/广告等检测) 不含项 图片AI生成识别服务(该服务按0.1元/张单独计费) 到期后 未购买套餐包则自动转为按量后付费(25元/万张) 适用条件 首次开通内容安全服务的用户 二、4步完成接入...(10分钟) 进入内容安全控制台 → 应用管理 → 新增应用 选择应用 → 场景管理 → 新建场景 选择需要检测的风险类型(涉黄/暴恐/违法/广告等) 保存后获取 Biztype 字段值(API调用时需要传入...三、理解审核结果 API返回的核心字段: 字段 含义 取值 Suggestion 建议操作 Pass(放行)/ Review(复审)/ Block(拦截) Label 命中的风险标签 Porn(涉黄)/...涉黄、暴恐、违法、广告、自定义识别等所有图片内容安全功能都可以测试。AI生成识别服务需要单独开通(0.1元/张)。 Q:试用期结束后不购买会怎样? A:如果不购买套餐包且未开通按量后付费,服务将停止。

    1.2K10

    内容审核怎么做:文本、图片、音视频机审接入-UserStory

    摘要: 内容审核用腾讯云天御内容安全平台,支持文本、图片、音频、视频四种内容机审:开通服务、按内容类型调对应接口(文本/图片/音频/视频)、传入内容、接收风险判定结果。...可识别涉黄、违法违规、暴恐、广告、谩骂、AI 生成等风险。本文讲清四种模态的接入流程和审核策略配置。...有用户上传内容(评论、图片、直播、视频)的平台,内容审核是刚需——不审核就可能出现违规内容,面临合规风险。...能识别哪些风险 天御基于模型、样本库、规则库,能识别的风险类型覆盖主流违规场景: 涉黄内容:情色图片、低俗视频、性暗示语言,覆盖真人、动漫、AI 生成图等; 低俗内容:擦边文案、ASMR 等低俗暗示;...违法违规:涉毒、涉赌、诈骗、违法宣传等; 暴恐内容:暴恐血腥、恐怖惊悚、自残、枪支刀具等; 谩骂内容:脏话、辱骂、不友善言论; 广告内容:恶意刷屏、网址导流、二维码推广等; AI 生成识别:判断文本、图片

    26110

    UGC 平台怎么防违规内容:天御内容安全实践-UserStory

    摘要: UGC 平台防违规内容,核心是在所有用户发布入口接入机审、按业务配审核策略、机审 + 人工协同、持续用数据优化。腾讯云天御内容安全平台支持文图音视四模态审核,覆盖涉黄、违法、暴恐、广告等风险。...UGC(用户生成内容)平台最大的风险就是「用户发了什么你管不住」——评论区骂战、图片涉黄、直播违规、广告刷屏,轻则影响体验,重则触碰合规红线被处罚。...、头像 图片 涉黄、暴力、二维码引流 语音、语聊房 音频 低俗言论、不良诱导 短视频、直播 视频 涉黄擦边、暴恐、不良示范 把入口和风险列全,才知道要接哪些审核接口、重点防什么。...对照上一步盘的入口清单,每个入口接对应的审核接口:文本入口接文本内容安全、图片入口接图片内容安全、音视频入口接对应接口。别留死角。...正确的架构是机审 + 人工协同: 机审打底:天御机审先过一遍所有内容,明显违规的(高置信度涉黄、暴恐等)直接拦截,明显正常的直接放行。这一层处理掉绝大部分内容。

    28821

    腾讯云微短剧全链路解决方案:从快速建站、出海合规到降本40%的技术实践

    用户充值付费: 免费观看5-10集后,通过积分购买、会员制、单集解锁或观看激励视频(广告解锁)变现。 电商与直播: 利用视频外链实现交易转化,或通过爆款剧集吸粉后进行直播带货。...应对监管合规:全链路内容审核体系 自2022年6月起,重点网络剧片需依法取得《网络剧片发行许可证》;2023年5月进入全面监管时代。若内容违规,平台需承担主体责任。...集成一体化审核(云点播): 提供从上传、审核到发布的全链路服务,根据涉黄、涉暴、广告、低俗等识别结果自动执行屏蔽或发布策略。...独立接入审核(腾讯天御): 结合图片、音频、文本安全能力,对视频画面、音频、背景文字及字幕进行多维识别过滤,确保内容合规。...技术实力溯源:权威机构认证与行业地位 选择腾讯云的核心逻辑在于其经过验证的高可用性与行业领先地位: IDC认证: 连续5年(2018-2022H1)中国音视频解决方案市场份额第一(IDC Video Cloud

    71400

    腾讯云通信TRTC推出实时音视频鉴黄功能,一键净化网络环境

    随着视频互动、语聊交友等场景应用的飞速发展,用户的内容也以多种形态在广泛的传播,如何有效的识别应用中潜在的涉黄、涉暴、低俗等不良内容,已经成为了行业的课题。...告别自建审核系统 很多音视频社交平台的审核系统包括三段:截取音视频内容,调用内容审核服务和人工确认审核结果,但是随着平台规模的快速增长和不良内容的多变,自建审核系统维护成本越来越大。...针对这种情况,TRTC上线审核服务,客户只要开启了语音审核和视频审核功能,就能快速检测所有音视频互动内容,对不良内容实时告警,有效解决审核痛点,让平台专注内容运营。...视频内容检测 对于开启了视频内容检测服务的客户,TRTC 通过旁路直播功能将视频流推到云直播服务,云直播从视频流中定期截取图片,并将截取的图片送给天御的图像审核服务进行不良内容鉴定,天御完成审核之后通过回调接口通知客户审核结果...如何接入视频鉴黄 依托云直播的能力,在实时音视频控制台开启旁路直播后可对实时视频流进行鉴黄处理。视频鉴黄功能默认关闭,可登录云直播控制台开启,接入详情请点击“阅读原文”。

    7.3K30

    用对象存储云原生内容安全服务,放心!

    随着数据量爆炸的时代来临,在网络安全政策越来越完善的情况下,如何对存储的数据进行强有力的内容安全保障,已经受到各界的关注。...审核类型 图片审核:腾讯云采用了前沿的图像识别算法,对用户上传的违规图像内容进行安全服务,过滤的内容场景包括:色情、暴恐、广告等,能够做到识别准确率高、召回率高,多维度覆盖对内容审核的要求,并实时跟进监管要求...视频审核:我们利用视频截帧能力将视频帧进行图片审核,用户可自定义截帧频率,有效降低视频审核成本。...音频审核:腾讯云使用前沿语音识别算法构建的语音识别(ASR)引擎,能够对语音的内容进行转译处理,识别违规内容包括色情、暴恐、广告、敏感、灌水等。...在每种场景中,我们支持更精细的类型,如色情中的直接裸露、隐晦涉黄、漫画色情、涉黄物体和进行性行为等内容,暴恐中的暴力恐怖人物、枪支、刀具、暴乱、战争等内容,广告中的网络小广告、微商商品等内容,违规违禁中的吸烟吸毒

    6.1K30

    图片内容安全入门指南:涉黄、暴恐、违法、广告四大风险类型全解读

    摘要: 图片审核不只是检测涉黄,一张图可能涉及涉黄、暴恐、违法、广告等多种风险。本文以腾讯云IMS为框架,逐一拆解四大风险类型的定义、场景和检测要点。...1.1 定义与范围 涉黄检测是图片审核中最基础也是最重要的能力,覆盖以下子类: 子类 说明 典型表现 直接裸露 明确的色情内容 人体敏感部位裸露 漫画色情 二次元/动漫色情内容 色情漫画、H游戏截图...1.3 腾讯云IMS的应对 将"涉黄"和"性感"拆分为独立检测维度,提供更细粒度的分级 支持漫画色情、隐晦涉黄等"变体"识别 融合数十种算法模型,有效识别遮挡、风格化等规避手法 二、风险类型二:暴恐检测...相比全量人工审核,效率提升显著。...涉黄是基础、暴恐是底线、违法是红线、广告是防线——四线并守,加上AI生成识别和未成年保护,才能构建真正全面的内容安全屏障。

    1.1K10

    2026年图片内容安全产品深度横评:腾讯云IMS、阿里云、百度云、数美科技,谁更适合你?

    2025年9月1日,《人工智能生成合成内容标识办法》正式施行,对平台的内容审核能力提出了更高要求。与此同时,涉黄、暴恐、违法广告、AI深度伪造等违规内容不断"进化",传统人工审核早已力不从心。...我们从覆盖的风险类型、识别精度、特色能力三个角度进行对比: 对比维度 腾讯云IMS 阿里云内容安全 百度智能审核 数美科技 涉黄检测 ✅ 支持(含漫画色情、隐晦涉黄) ✅ 支持 ✅ 支持 ✅ 支持 暴恐检测...元 按量购买 按量购买 按量后付费 25元/万张 约20-30元/万张 约20-30元/万张 最优单价 10元/万张(36000万张包) 需大客户议价 需大客户议价 AI生成识别 0.1元/张 按量计费...识别精准,覆盖全面 融合数十种算法技术构建综合模型体系,支持色情、暴恐、违法、广告、自定义等六大识别维度,加上2025年全新上线的AI生成识别能力,形成了业内最完整的图片安全防护矩阵。...2,000元(5折) 180万张套餐包 新老同享 180万张 1年 3,400元(8.5折) 720万张套餐包 新老同享 720万张 1年 11,900元(8.5折) 温馨提示: 套餐包可叠加购买

    1.2K10

    游戏行业图片审核攻略:用户头像、社区截图、聊天图片一网打尽

    场景 审核对象 核心风险 特殊挑战 用户头像 玩家自定义头像 涉黄、暴恐、广告 尺寸小,风格多 游戏社区 帖子配图、攻略截图、同人创作 涉黄、外挂宣传、引流广告 游戏画面可能被误判 游戏内聊天 聊天发送的图片...涉黄/性感 视具体程度判断 游戏内的爆炸特效 暴恐(爆炸) 应放行(游戏特效) 恐怖游戏中的恐怖场景 暴恐(恐怖) 应放行(游戏内容) 游戏内的药水/道具图标 违法(毒品) 应放行(游戏道具) 2.2...场景 Biztype 特殊配置 游戏社区帖子 game_community 暴恐阈值适当放宽(容忍游戏暴力画面) 用户头像 game_avatar 涉黄严格(头像不应出现真人涉黄) 游戏内聊天 game_chat...严格 最严格 严格 头像不应出现任何涉黄内容 暴恐 适当放宽 严格 标准 社区截图中的游戏暴力不应误判 违法 标准 标准 标准 赌博相关仍需严格 广告 最严格 严格 最严格 外挂/代练广告是重灾区 性感...它需要审核系统能够理解游戏语境,区分"游戏中的正常暴力"和"真实的暴力威胁",区分"角色立绘的性感"和"真人涉黄",区分"游戏道具的枪支"和"真实武器的展示"。

    68810

    腾讯云微短剧全链路出海与降本增效技术架构解析

    涉黄、涉暴、低俗等违规内容将直接导致下架并追究平台主体责任。...部署全场景音视频与自动化运营架构 针对微短剧全生命周期,腾讯云提供从搭建、制作、播放到审核的模块化技术架构: 零代码跨端平台构建: 依托腾讯云微搭配置管理系统,提供免运维技术架构。...内容合规: 支持集成云点播全链路审核或单独接入腾讯天御视频内容安全方案,通过人脸识别、OCR识别、音频与图片识别过滤违规元素。...适配多元变现模式的业务落地 依托上述底层技术,平台方可快速跑通并落地以下多种主流微短剧商业变现路径: 用户充值付费体系: 支撑前5-10集免费引流,后续无缝衔接积分购买、VIP会员充值、单集解锁等付费墙机制...依托权威认证的底层音视频设施 腾讯云音视频基础设施在系统稳定性与市场占有率上具备明确的技术领先性,其核心能力已获得多家国际权威机构的量大数据支持与认可: Gartner: 2021年中国通信平台即服务(

    69110

    两步搞定内容审核,腾讯云即时通信IM推出内容回调解决方案

    尤其是聊天信息、视频弹幕、社区评论等即时通信消息,几乎无间断地在网络上大量生成并传播,其中难免会夹杂着一些涉黄涉暴的负面消息。...所以,对于集成了即时通信系统的应用来说,如何针对用户资料、群组资料、单聊群聊信息等众多内容进行安全审核并高效识别处理不安全、不适宜的消息内容成了其急需解决的问题。...同时用户还可对单聊/群聊/资料场景分别设置审核策略,通过区分设置实现更灵活的内容安全策略。 3....支持富媒体,维度丰富:内容回调支持文本、图像、语音、视频等多维度内容识别分析,可轻松应对各种业务需求。文本、图片支持同步审核,音视频内容可异步审核。...腾讯云音视频在音视频领域已有超过21年的技术积累,持续支持国内90%的音视频客户实现云上创新,独家具备 RT-ONE™ 全球网络,在此基础上,构建了业界最完整的 PaaS 产品家族,并通过腾讯云视立方

    3.8K30

    视频审核过滤技术如何迎接AI新时代的应用

    前言如今社会短视频时代已经很久了,中视频时代也悄然而至。...大量用户都会在视频号、抖音、快手等短视频平台发布分享自己的视频,那当我们在视频平台上传一段视频内容,系统需要在短时间内就判定其中是否存在违规画面。这在前两年AI暂未盛行之际,是一个很大的工作量。...然后随着AI时代的来临,视频审核的实时过滤能力,已经悄然的变化为AI能力支持。背后通过AI技术在昼夜不停地进化,实时过滤功能正悄然重塑着互联网内容生态。...如今,视频审核系统如同数字世界的"防火墙",每天都在处理着数十亿小时的视频流。实时过滤的技术架构AI实现实时视频过滤系统,核心采用的是多模态神经网络架构,同步处理视频、音频、文字和元数据。...为了应对多种多样的挑战,AI审核系统则需要引入对抗训练模型机制,在对模型训练时,需要主动的生成大量的干扰样本,以此来增强系统的健壮性。

    2.2K10

    【推荐】腾讯云COS对象存储&音视图文内容审核&自动化云端审核热销中!

    【最新活动】:COS & SCF 数据工作流 自动化处理能力>>>>>> #行业痛点 社交平台的文件类型广泛,图片、视频、语音、文本都可能存在违规风险,单一类型的内容审核难以满足客户需求。...游戏类应用中,存在大量用户上传自定义头像,局间聊天,语音连麦等场景涉及内容审核。 游戏行业存在大量场景化定制需求,例如头像审核场景,动漫审核场景等。...可对上述内容进行审核,审核类型包括涉黄、涉政、涉暴恐及广告传播。...2.调用图像审核的URL路径传递参数: 3.自动化任务流审核实现: image.png image.png GET /picture.jpg?.../436/45435 内容审核API:https://cloud.tencent.com/document/product/436/45434 对象存储内容审核:https://cloud.tencent.com

    7K41

    点播视频多维度审核实战:画面、音频、OCR文本三管齐下杜绝违规

    本文详解腾讯云VM如何通过画面、音频、OCR文本三个维度的协同审核,构建无死角的视频内容安全防线,并结合实际案例展示三维审核相比单维审核的显著效果提升。...错过色情画面、暴力镜头 ❌ 只能看到文字部分 ❌ 漏掉画面中的违规文字 ❌ 漏掉画面中的违规元素 ❌ 覆盖面极其有限 现实案例:某平台只做画面审核,结果一条视频——画面是正常的风景,但音频全程都在播放涉黄内容...二、三维审核深度详解 维度一:画面审核 识别类型 具体内容 色情识别 直接裸露、隐晦涉黄、漫画色情、涉黄物体、性行为 暴力识别 血腥画面、暴力行为、恐怖元素 违法识别 违禁物品、赌博场景、涉毒画面 广告识别...维度三:OCR文本审核 识别类型 具体内容 违规文字 画面中出现的涉黄、涉政、违法等文字 联系方式 手机号、微信号、QQ号等引流信息 广告文字 促销文案、虚假宣传语 字幕内容 视频字幕中的违规内容 三...万分钟/年65,000元32,500元(约2,708元/月) 提示:点播视频套餐包已包含由视频审核引起的图片和音频审核费用,无需额外购买。

    68810

    金山云:开放“金睛SDK,自动解决各种违规问题

    违规内容成了平台审核之痛,发展之殇。在此背景下,主管部门重拳出击,多个短视频平台遭约谈、整改、下架。...短视频、直播平台持有对违规内容绝不姑息的坚定立场以及从严处理的决心,在投入庞大资金的同时,并已开始大幅度扩大审核团队,加大人工审核力度进行紧急应对。...然而,由于视频量巨大,人工审核力有不逮,在加大人工审核力度之外,金山云金睛——一站式AI内容安全服务为视频平台提供了全新的解决方案。...“金睛”基于精准AI算法模型,支持涉黄、涉恐、涉政、不良广告等多种违规场景的内容审核,同时提供直播实时AI内容安全监管服务、短视频AI安全审核解决方案,从而有效净化网络环境。...基于深厚的大数据沉淀,金山云“金睛”对违规场景进行精细化标签,目前分别支持200+暴恐类标签识别和1000+敏感人物识别,鉴黄识别方面准确率超过99%。 ?

    4.5K40
    领券