文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

AIGC应用必须过的安全关：如何审核AI生成内容中的违法、涉黄、暴恐风险？

摘要： 当你的产品集成了AI大模型来生成内容时，你就必须为AI的"不当言论"负责——AI可能生成涉黄暗示、违法引导、暴力描述甚至钓鱼话术。...腾讯云文本内容安全产品介绍：点击了解详情 限时优惠活动：立即查看促销价格 一、AI不是永远"安全"的 大语言模型在生成内容时，存在以下安全风险： 风险类型 说明 触发方式 违法引导 AI生成教唆违法、...鼓励危险行为的内容 恶意prompt注入 涉黄低俗 AI生成低俗暗示、涉黄行为描述 角色扮演诱导 暴力内容 AI生成暴力场景描述、武器制造指引 间接提问绕过 钓鱼话术 AI生成社工攻击话术、诈骗脚本 指令注入攻击...三、腾讯云TMS的AIGC审核能力 识别能力 AIGC场景应用 色情识别 拦截AI生成的低俗暗示和涉黄内容 暴恐识别 拦截暴力描述和恐怖主义内容 违法识别 拦截教唆违法、危险指引 广告识别 拦截AI被诱导生成的广告内容...立即了解腾讯云文本内容安全：https://cloud.tencent.com/product/tms 限时特惠活动入口：https://cloud.tencent.com/act/pro/featured

73010

一文看懂：腾讯云天御内容安全全家桶（文本+图片+音频+视频）如何协同作战

单模态审核的致命盲区 来看几个真实场景： 场景 违规方式 单模态审核结果 社区帖子 图片正常，但配文含暴力引导 ❌ 图片审核通过，文字违规漏检 直播间 画面正常，但主播语音涉黄 ❌ 视频截帧审核通过，音频违规漏检...二、腾讯云天御内容安全产品矩阵 腾讯云天御（T-Sec）内容安全解决方案由四大核心产品组成： 产品 英文缩写 审核模态 核心能力 图片内容安全 IMS 图片 涉黄/暴恐/违法/广告/自定义识别 + AI...生成识别 文本内容安全 TMS 文本 敏感词/涉黄/暴恐/广告/自定义词库 音频内容安全 AMS 音频 语音转文字+音频审核，识别违规音频 视频内容安全 VMS 视频 截帧审核+音频提取+字幕识别 加上...↓ 可疑房间预警/强制下线 协同价值： 当主播画面正常但语音涉黄时，单靠视频截帧审核无法检出，AMS的音频审核能力补上了这个盲区。...（涉黄/暴恐/违法/广告等） 视频截帧依赖 VMS的截帧审核依赖IMS的图片识别能力 OCR提取 IMS的OCR能力为文字审核提供图片中的文字内容 AI鉴伪唯一入口 AI生成识别服务通过IMS接口调用

60810
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    “黄暴”视频看出心理阴影，内容审核师能被AI拯救吗？

    视频审核师每天都在看什么？ 在文摘菌的印象中，审核师的工作就是看看用户上传到网站的视频，大概就像是…每天刷刷抖音就能轻松挣钱一样，可以说是梦寐以求的工作了。...不止是Peter和同事们，另一位视频审核师Daisy曾负责Google视频中的恐怖主义和儿童虐待内容的审核，从事这项工作后，她曾一度难以和孩子交流互动。...AI能拯救视频审核师吗？ AI参与视频审核并非近几年才有，最早2000年左右，就有公司在做这方面的尝试。但那时，视频审核需要人为设定特征和规则，比如黄颜色皮肤面积分布情况。...YouTube的算法工程师向文摘菌透露，目前YouTube上大部分视频仍需要经过人工审核，被审核视频一部分是AI检测出来，一部分是用户举报的，但最终都需要专业的审核师把关决定是否违规。...“good”或“bad”，当审核师遇到标注有“bad”视频时再细致地审核，这也提高了审核效率。

    5.3K20

    图片内容安全入门指南：涉黄、暴恐、违法、广告四大风险类型全解读

    摘要： 图片审核不只是检测涉黄，一张图可能涉及涉黄、暴恐、违法、广告等多种风险。本文以腾讯云IMS为框架，逐一拆解四大风险类型的定义、场景和检测要点。...pro/moltbotandai#nrsb 一、风险类型一：涉黄检测 1.1 定义与范围 涉黄检测是图片审核中最基础也是最重要的能力，覆盖以下子类： 子类 说明 典型表现 直接裸露 明确的色情内容 人体敏感部位裸露...1.3 腾讯云IMS的应对 将"涉黄"和"性感"拆分为独立检测维度，提供更细粒度的分级 支持漫画色情、隐晦涉黄等"变体"识别 融合数十种算法模型，有效识别遮挡、风格化等规避手法 二、风险类型二：暴恐检测...相比全量人工审核，效率提升显著。...涉黄是基础、暴恐是底线、违法是红线、广告是防线——四线并守，加上AI生成识别和未成年保护，才能构建真正全面的内容安全屏障。

    54110

    游戏行业图片审核攻略：用户头像、社区截图、聊天图片一网打尽

    pro/moltbotandai#nrsb 一、游戏行业图片审核的五大场景 场景 审核对象 核心风险 特殊挑战 用户头像 玩家自定义头像 涉黄、暴恐、广告 尺寸小，风格多 游戏社区 帖子配图、攻略截图、...涉黄行为、暴力行为 游戏暴力画面误判 二、游戏行业的核心矛盾：游戏内容 vs 违规内容 2.1 容易被误判的游戏内容 游戏内容 可能被误判为 正确处理 射击游戏中的枪支模型 暴恐（武器） 应放行（游戏道具...） 格斗游戏中的打斗特效 暴力（血腥） 应放行（游戏效果） 角色穿着清凉的游戏立绘 涉黄/性感 视具体程度判断 游戏内的爆炸特效 暴恐（爆炸） 应放行（游戏特效） 恐怖游戏中的恐怖场景 暴恐（恐怖） 应放行...游戏场景的标准渲染图 步骤2：创建游戏专属审核策略 场景 Biztype 特殊配置 游戏社区帖子 game_community 暴恐阈值适当放宽（容忍游戏暴力画面） 用户头像 game_avatar...最严格 严格 头像不应出现任何涉黄内容 暴恐 适当放宽 严格 标准 社区截图中的游戏暴力不应误判 违法 标准 标准 标准 赌博相关仍需严格 广告 最严格 严格 最严格 外挂/代练广告是重灾区 性感 适当放宽

    40010

    视频智能审核技术解析：画面+音频+文字三位一体的内容安全防线

    摘要 视频审核不是鉴黄的同义词，而是覆盖画面、音频、文字三路信号，对涉黄、涉暴、违禁、版权、质量等多类风险的系统工程。...三、画面通道 3.1 任务分层 任务 类别 技术 涉黄检测 分类 + 关键区域分割 CNN + Attention 涉暴检测 场景识别 Video Transformer 违禁物品 目标检测 YOLO...5.2 文本审核要点 关键词库：黑名单 + 白名单 + 变体（谐音、拆字、火星文）； 语义分类器：基于 Transformer 的多标签分类（涉黄、涉暴、仇恨、广告、政治敏感）； 对抗鲁棒：对形近字、插入特殊字符做归一化...七、典型风险与处置 风险 示例 处置 涉黄 暴露画面 下架 / 打码 涉暴 暴力血腥 下架 / 模糊 违禁物 枪支、毒品 下架 / 人工复核 侮辱谩骂 音频脏话 静音 / 打码 广告软文 二维码、微信号...八、审核指标 指标 公式 目标 召回率 TP / (TP + FN) 95%（涉黄、涉政） 误伤率 FP / (FP + TN) < 1% 端到端延迟 上传到结果返回 视频（离线） 吞吐

    51610

    【推荐】腾讯云COS对象存储&音视图文内容审核&自动化云端审核热销中！

    【最新活动】：COS & SCF 数据工作流 自动化处理能力>>>>>> #行业痛点 社交平台的文件类型广泛，图片、视频、语音、文本都可能存在违规风险，单一类型的内容审核难以满足客户需求。...游戏类应用中，存在大量用户上传自定义头像，局间聊天，语音连麦等场景涉及内容审核。 游戏行业存在大量场景化定制需求，例如头像审核场景，动漫审核场景等。...可对上述内容进行审核，审核类型包括涉黄、涉政、涉暴恐及广告传播。...2.调用图像审核的URL路径传递参数： 3.自动化任务流审核实现： image.png image.png GET /picture.jpg?.../436/45435 内容审核API：https://cloud.tencent.com/document/product/436/45434 对象存储内容审核：https://cloud.tencent.com

    6.8K41

    从3000张免费试用开始：零基础接入图片内容安全服务完整教程

    pro/moltbotandai#nrsb 一、免费试用详情 项目 说明 免费额度 3,000张图片 有效期 15天（自开通日起） 适用范围 图片内容安全服务（涉黄/暴恐/违法/广告等检测） 不含项 图片...（10分钟） 进入内容安全控制台 → 应用管理 → 新增应用 选择应用 → 场景管理 → 新建场景 选择需要检测的风险类型（涉黄/暴恐/违法/广告等） 保存后获取 Biztype 字段值（API调用时需要传入...三、理解审核结果 API返回的核心字段： 字段 含义 取值 Suggestion 建议操作 Pass（放行）/ Review（复审）/ Block（拦截） Label 命中的风险标签 Porn（涉黄）/...15天免费试用期结束或3000张额度用完后，有两个选择： 选择 说明 购买套餐包（推荐） 预付费，单价更低，首单5折/活动8.5折 按量后付费 25元/万张，灵活但单价较高 当前活动优惠价格： 套餐类型...涉黄、暴恐、违法、广告、自定义识别等所有图片内容安全功能都可以测试。AI生成识别服务需要单独开通（0.1元/张）。 Q：试用期结束后不购买会怎样？ A：如果不购买套餐包且未开通按量后付费，服务将停止。

    37710

    不止是涉黄检测！图片内容安全的6大识别维度，你可能只用了一半

    摘要： 只开涉黄检测远远不够。腾讯云IMS提供涉黄、暴恐、违法、广告、性感、自定义识别6大维度及AI生成识别能力。本文逐一解读各维度价值与使用技巧，构建完整防护网。...腾讯云图片内容安全产品介绍： https://cloud.tencent.com/product/ims 限时特惠活动（产品首单5折起）： https://cloud.tencent.com/act/...pro/moltbotandai#nrsb 一、完整防线 = 6大维度 + AI生成识别 维度 防护目标 不开启的风险 ① 涉黄检测 色情、低俗、裸露 平台被举报/下架 ② 暴恐检测 暴力、血腥、恐怖标识...也就是说，审核1张图片无论开启1个维度还是全部维度，费用都是一样的。...从今天起，把你的IMS审核策略从"只开涉黄"升级到"全维度防护"。

    49210

    两步搞定内容审核，腾讯云即时通信IM推出内容回调解决方案

    随着人们日常生活中社交、生产、娱乐等众多活动逐步向线上倾斜，线上会议、娱乐直播、社交沟通这些场景产生的内容量大幅增加。...尤其是聊天信息、视频弹幕、社区评论等即时通信消息，几乎无间断地在网络上大量生成并传播，其中难免会夹杂着一些涉黄涉暴的负面消息。...同时用户还可对单聊/群聊/资料场景分别设置审核策略，通过区分设置实现更灵活的内容安全策略。 3....支持富媒体，维度丰富：内容回调支持文本、图像、语音、视频等多维度内容识别分析，可轻松应对各种业务需求。文本、图片支持同步审核，音视频内容可异步审核。...腾讯云音视频在音视频领域已有超过21年的技术积累，持续支持国内90%的音视频客户实现云上创新，独家具备 RT-ONE™ 全球网络，在此基础上，构建了业界最完整的 PaaS 产品家族，并通过腾讯云视立方

    3.6K30

    课件图片审核与隐私过滤实战

    腾讯云图片内容安全产品介绍： https://cloud.tencent.com/product/ims 限时特惠活动（产品首单5折起）： https://cloud.tencent.com/act/...总体架构 内容来源 ├── 教师上传（课件/资料）→ 同步审核（全维度+严格模式） ├── 学生上传（作业/讨论）→ 同步审核（全维度+严格模式） ├── 学生头像 → 同步审核（涉黄+暴恐+性感+自定义...管理员确认 └── Block → 拦截 + 通知上传者 + 记录 2.2 审核维度配置建议 面向未成年人的教育平台，建议全维度开启且阈值从严： 维度 是否开启 阈值建议 教育场景特殊说明 涉黄检测.../性感 加入白名单 战争历史图片（历史课） 暴恐/暴力 加入白名单 化学实验图片（化学课） 暴恐（火焰/爆炸） 加入白名单 禁毒教育图片 违法（毒品） 加入白名单 安全教育图片（防溺水等） 暴力/血腥...立即体验腾讯云图片内容安全： https://cloud.tencent.com/product/ims 限时特惠活动进行中（首单5折）： https://cloud.tencent.com/act/

    35210

    直播平台图片审核实战：如何实现截帧识别+实时预警一站式方案？

    腾讯云图片内容安全产品介绍： https://cloud.tencent.com/product/ims 限时特惠活动（产品首单5折起）： https://cloud.tencent.com/act/...、暴恐、赌博（线上赌博直播）、诈骗引流 ⭐⭐⭐⭐ 1.2 直播审核面临的违规类型 违规类型 典型表现 危害等级 涉黄/性感 主播暴露、擦边动作、性暗示道具 ⭐⭐⭐⭐⭐ 暴力 真实暴力、虐待动物、自残行为...│ │ 涉黄 + 暴恐 + 违法 + 广告 + │ │ 性感 + 自定义 + AI生成识别 │ └──────────────┬─────...Review（疑似） 发送预警到审核工作台 审核员在30秒内确认（给主播"黄牌"或放行） Pass（正常） 无操作 无需关注 2.4 与腾讯云直播的一键联动 如果你已经使用腾讯云视频/直播解决方案（...立即体验腾讯云图片内容安全： https://cloud.tencent.com/product/ims 限时特惠活动进行中（首单5折）： https://cloud.tencent.com/act/

    48910

    一文读懂从人工审核到AI智能审核的进化之路

    摘要： 图片内容安全通过AI技术自动识别涉黄、暴恐、违法等违规图片，保障平台合规。本文从零讲起，带你了解图片内容安全的发展历程、核心能力与未来趋势。...腾讯云图片内容安全产品介绍： https://cloud.tencent.com/product/ims 限时特惠活动（产品首单5折起）： https://cloud.tencent.com/act/...它的核心目标是： 精准识别令人反感、不安全或不适宜的内容 帮助平台降低违规风险和人工审核成本 保障用户在健康、安全的网络环境中获取信息 以腾讯云图片内容安全（IMS）为例，它能够覆盖涉黄、暴恐、违法、广告...以腾讯云IMS为例，当前主流图片内容安全服务的识别范围： 识别维度 检测内容 典型场景 涉黄检测 色情、低俗、裸露、漫画色情 社交平台头像、评论区配图 暴恐检测 暴力、血腥、恐怖标识、枪支 社区帖子、新闻图片...立即体验腾讯云图片内容安全： https://cloud.tencent.com/product/ims 限时特惠活动进行中（首单5折）： https://cloud.tencent.com/act/

    50410

    腾讯云双十一直播间活动规则

    腾讯云直播间秒杀规则 活动时间 2021年11月25日 19:00-20:00 活动对象 腾讯云官网已注册且完成实名认证的国内站用户均可参与（协作者与子用户账号除外）； 活动说明 1、秒杀活动优惠不能与其他优惠叠加...未达到认证标准的用户，会显示账号有风险； 7、为保证活动的公平公正，腾讯云有权对恶意刷抢活动资源、长期资源闲置、利用资源从事违法违规行为的用户收回云资源。...日结流量和标准直播国际/港澳台日结流量；自2021年04月20日起，支持抵扣快直播国际/港澳台日结流量，详情可查看 云直播预付费说明； 购买后5天内未使用，支持无理由退款，使用后不支持退款；若账户内容因内容审核问题...（涉黄、涉政等）导致停服，账户下所有资源包均不支持退款； 3、实时音视频：对于单个腾讯云账号，TRTC 预付费套餐包自新购订单发货成功之日起，可享受1次五天内（含五天）无理由全额退还1个套餐包的机会。...详情请查看 退费说明； 单个腾讯云账号下的所有实时音视频应用共享所有套餐包； 自2019年10月11日起，首次在实时音视频控制台创建应用的腾讯云账号，可获赠一个10000分钟的免费试用包，可用于抵扣视频通话

    18.7K170

    文本审核不只是过滤脏话：色情、暴恐、违法、广告七大类违规识别全解析

    摘要： 很多人对文本审核的认知还停留在"过滤脏话"的阶段，但真正的文本内容安全远不止于此。从隐晦的色情暗示到暴恐组织宣传，从赌博诈骗信息到伪装的微商引流——违规内容的形态多达数百种。...腾讯云文本内容安全产品介绍：点击了解详情 限时5折优惠活动：立即查看促销价格 一、你以为的文本审核 vs 真实的文本审核 你以为的文本审核：建一个脏话词库，匹配到就删帖。...二、七大类违规内容深度解析 第一类：色情内容 不只是露骨的色情描述，还包括： 性暗示和擦边球表述 色情段子和黄色笑话 涉黄交友引流信息 使用谐音、拼音、emoji的隐晦色情内容 腾讯云TMS的变体识别能力...代开发票、洗钱等） 第四类：谩骂内容 脏话辱骂和人身攻击 地域歧视和群体攻击 阴阳怪气的隐性攻击 使用变体的侮辱性言论 第五类：广告内容 垃圾广告和恶意刷屏 微商引流和代购推广 涉黄引流广告 竞品恶意推广...立即了解腾讯云文本内容安全：https://cloud.tencent.com/product/tms 限时5折特惠活动入口：https://cloud.tencent.com/act/pro/moltbotandai

    69010

    用对象存储云原生内容安全服务，放心！

    审核类型 图片审核：腾讯云采用了前沿的图像识别算法，对用户上传的违规图像内容进行安全服务，过滤的内容场景包括：色情、暴恐、广告等，能够做到识别准确率高、召回率高，多维度覆盖对内容审核的要求，并实时跟进监管要求...视频审核：我们利用视频截帧能力将视频帧进行图片审核，用户可自定义截帧频率，有效降低视频审核成本。...音频审核：腾讯云使用前沿语音识别算法构建的语音识别（ASR）引擎，能够对语音的内容进行转译处理，识别违规内容包括色情、暴恐、广告、敏感、灌水等。...在每种场景中，我们支持更精细的类型，如色情中的直接裸露、隐晦涉黄、漫画色情、涉黄物体和进行性行为等内容，暴恐中的暴力恐怖人物、枪支、刀具、暴乱、战争等内容，广告中的网络小广告、微商商品等内容，违规违禁中的吸烟吸毒...图片、视频等数据多，增长快，人工审核将给企业带来很高的审核成本。而且电商场景中可能存在违规二维码、微商小广告等违规内容。

    5.9K30

    2026年图片内容安全产品深度横评：腾讯云IMS、阿里云、百度云、数美科技，谁更适合你？

    腾讯云图片内容安全产品介绍： https://cloud.tencent.com/product/ims 限时特惠活动（产品首单5折起）： https://cloud.tencent.com/act/...2025年9月1日，《人工智能生成合成内容标识办法》正式施行，对平台的内容审核能力提出了更高要求。与此同时，涉黄、暴恐、违法广告、AI深度伪造等违规内容不断"进化"，传统人工审核早已力不从心。...我们从覆盖的风险类型、识别精度、特色能力三个角度进行对比： 对比维度 腾讯云IMS 阿里云内容安全 百度智能审核 数美科技 涉黄检测 ✅ 支持（含漫画色情、隐晦涉黄） ✅ 支持 ✅ 支持 ✅ 支持 暴恐检测...识别精准，覆盖全面 融合数十种算法技术构建综合模型体系，支持色情、暴恐、违法、广告、自定义等六大识别维度，加上2025年全新上线的AI生成识别能力，形成了业内最完整的图片安全防护矩阵。...量越大越划算，活动时间有限，建议尽早锁定优惠价格。

    66910

    腾讯云IMS vs 阿里云内容安全：两大云厂商图片审核能力全面PK

    腾讯云图片内容安全产品介绍： https://cloud.tencent.com/product/ims 限时特惠活动（产品首单5折起）： https://cloud.tencent.com/act/...腾讯的优势在于社交和内容生态（QQ、微信、腾讯视频等），积累了海量的社交场景违规样本；阿里的优势在于电商生态（淘宝、天猫），在商品图审核方面经验丰富。...2.2 识别能力对比 能力项 腾讯云IMS 阿里云内容安全 PK结果 涉黄检测 ✅ 含漫画色情、隐晦涉黄 ✅ 图片审核增强版 持平 暴恐检测 ✅ 含恐怖标识、血腥画面 ✅ 支持 持平 违法检测 ✅...赌博、毒品 ✅ 支持 持平 广告检测 ✅ 二维码、水印、LOGO ✅ 支持 持平 性感检测 ✅ 独立维度细分 归入涉黄分级 ✅ IMS更细化 未成年保护 ✅ 专项能力 ✅ 支持 持平 OCR文字审核...✅ AIGC鉴伪 ✅ IMS技术领先 关键差异： 腾讯云IMS将"性感"作为独立检测维度，提供比涉黄更细粒度的分级。

    61310

    腾讯云通信TRTC推出实时音视频鉴黄功能，一键净化网络环境

    随着视频互动、语聊交友等场景应用的飞速发展，用户的内容也以多种形态在广泛的传播，如何有效的识别应用中潜在的涉黄、涉暴、低俗等不良内容，已经成为了行业的课题。...近日，腾讯云通信TRTC (文中简称TRTC) 联合腾讯安全天御团队，推出实时音视频+实时内容审核服务，帮助平台运营者解决不良内容审核的痛点。...告别自建审核系统 很多音视频社交平台的审核系统包括三段：截取音视频内容，调用内容审核服务和人工确认审核结果，但是随着平台规模的快速增长和不良内容的多变，自建审核系统维护成本越来越大。...针对这种情况，TRTC上线审核服务，客户只要开启了语音审核和视频审核功能，就能快速检测所有音视频互动内容，对不良内容实时告警，有效解决审核痛点，让平台专注内容运营。...视频内容检测 对于开启了视频内容检测服务的客户，TRTC 通过旁路直播功能将视频流推到云直播服务，云直播从视频流中定期截取图片，并将截取的图片送给天御的图像审核服务进行不良内容鉴定，天御完成审核之后通过回调接口通知客户审核结果

    7.1K30
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券