文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

AIGC应用必须过的安全关：如何审核AI生成内容中的违法、涉黄、暴恐风险？

摘要： 当你的产品集成了AI大模型来生成内容时，你就必须为AI的"不当言论"负责——AI可能生成涉黄暗示、违法引导、暴力描述甚至钓鱼话术。...限时优惠活动：立即查看促销价格 一、AI不是永远"安全"的 大语言模型在生成内容时，存在以下安全风险： 风险类型 说明 触发方式 违法引导 AI生成教唆违法、鼓励危险行为的内容 恶意prompt注入 涉黄低俗...AI生成低俗暗示、涉黄行为描述 角色扮演诱导 暴力内容 AI生成暴力场景描述、武器制造指引 间接提问绕过 钓鱼话术 AI生成社工攻击话术、诈骗脚本 指令注入攻击 有害信息 AI生成错误的医疗、法律建议...三、腾讯云TMS的AIGC审核能力 识别能力 AIGC场景应用 色情识别 拦截AI生成的低俗暗示和涉黄内容 暴恐识别 拦截暴力描述和恐怖主义内容 违法识别 拦截教唆违法、危险指引 广告识别 拦截AI被诱导生成的广告内容...追踪恶意用户行为 五、限时特惠 服务 条件限制 规格 有效期 特惠价格 文本内容安全服务 新老同享 180万条套餐包 1年 3,400元（8.5折） 文本内容安全服务 新老同享 720万条套餐包 1年 11,900

96210

“黄暴”视频看出心理阴影，内容审核师能被AI拯救吗？

视频审核师每天都在看什么？ 在文摘菌的印象中，审核师的工作就是看看用户上传到网站的视频，大概就像是…每天刷刷抖音就能轻松挣钱一样，可以说是梦寐以求的工作了。...不止是Peter和同事们，另一位视频审核师Daisy曾负责Google视频中的恐怖主义和儿童虐待内容的审核，从事这项工作后，她曾一度难以和孩子交流互动。...AI能拯救视频审核师吗？ AI参与视频审核并非近几年才有，最早2000年左右，就有公司在做这方面的尝试。但那时，视频审核需要人为设定特征和规则，比如黄颜色皮肤面积分布情况。...YouTube的算法工程师向文摘菌透露，目前YouTube上大部分视频仍需要经过人工审核，被审核视频一部分是AI检测出来，一部分是用户举报的，但最终都需要专业的审核师把关决定是否违规。...“good”或“bad”，当审核师遇到标注有“bad”视频时再细致地审核，这也提高了审核效率。

5.7K20
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    一文看懂：腾讯云天御内容安全全家桶（文本+图片+音频+视频）如何协同作战

    单模态审核的致命盲区 来看几个真实场景： 场景 违规方式 单模态审核结果 社区帖子 图片正常，但配文含暴力引导 ❌ 图片审核通过，文字违规漏检 直播间 画面正常，但主播语音涉黄 ❌ 视频截帧审核通过，音频违规漏检...二、腾讯云天御内容安全产品矩阵 腾讯云天御（T-Sec）内容安全解决方案由四大核心产品组成： 产品 英文缩写 审核模态 核心能力 图片内容安全 IMS 图片 涉黄/暴恐/违法/广告/自定义识别 + AI...生成识别 文本内容安全 TMS 文本 敏感词/涉黄/暴恐/广告/自定义词库 音频内容安全 AMS 音频 语音转文字+音频审核，识别违规音频 视频内容安全 VMS 视频 截帧审核+音频提取+字幕识别 加上...↓ 可疑房间预警/强制下线 协同价值： 当主播画面正常但语音涉黄时，单靠视频截帧审核无法检出，AMS的音频审核能力补上了这个盲区。...（涉黄/暴恐/违法/广告等） 视频截帧依赖 VMS的截帧审核依赖IMS的图片识别能力 OCR提取 IMS的OCR能力为文字审核提供图片中的文字内容 AI鉴伪唯一入口 AI生成识别服务通过IMS接口调用

    77810

    视频智能审核技术解析：画面+音频+文字三位一体的内容安全防线

    摘要 视频审核不是鉴黄的同义词，而是覆盖画面、音频、文字三路信号，对涉黄、涉暴、违禁、版权、质量等多类风险的系统工程。...三、画面通道 3.1 任务分层 任务 类别 技术 涉黄检测 分类 + 关键区域分割 CNN + Attention 涉暴检测 场景识别 Video Transformer 违禁物品 目标检测 YOLO...5.2 文本审核要点 关键词库：黑名单 + 白名单 + 变体（谐音、拆字、火星文）； 语义分类器：基于 Transformer 的多标签分类（涉黄、涉暴、仇恨、广告、政治敏感）； 对抗鲁棒：对形近字、插入特殊字符做归一化...七、典型风险与处置 风险 示例 处置 涉黄 暴露画面 下架 / 打码 涉暴 暴力血腥 下架 / 模糊 违禁物 枪支、毒品 下架 / 人工复核 侮辱谩骂 音频脏话 静音 / 打码 广告软文 二维码、微信号...八、审核指标 指标 公式 目标 召回率 TP / (TP + FN) 95%（涉黄、涉政） 误伤率 FP / (FP + TN) < 1% 端到端延迟 上传到结果返回 视频（离线） 吞吐

    83010

    腾讯云双11最强攻略：如何选购优惠产品，薅最划算的羊毛

    ​ 目录 一、首选优惠产品 二、可参与拼团的产品：超值组合优惠 三、不推荐购买的产品 四、注意事项与优惠最大化技巧 总结 腾讯云的双11活动力度空前，适合个人开发者、中小企业甚至是大型公司。...推荐原因：这是适合已经有稳定项目或业务的用户，例如需要大数据支持的应用或视频流服务。CDN、数据库和对象存储对中大型业务帮助极大，长期来看投资回报率高。...双11期间价格更具吸引力，适合有长远数据存储计划的用户购买​ 二、可参与拼团的产品：超值组合优惠 拼团特惠 规则：活动期间可邀请好友拼团，2人即可成团。...三、不推荐购买的产品 短期需求的云服务 原因：双11优惠多集中在包年包月、长期使用的产品上，短期产品的折扣力度相对较小。如果你只是需要短期测试环境，建议不要选择大规模下单，避免浪费。...总结 腾讯云双11的优惠活动覆盖了从个人到企业的多种需求。轻量应用服务器和拼团优惠是最值得入手的，适合多种场景。如果你有长期的上云需求，建议优先选择包年包月产品并通过拼团提高性价比。

    15K10

    图片内容安全入门指南：涉黄、暴恐、违法、广告四大风险类型全解读

    摘要： 图片审核不只是检测涉黄，一张图可能涉及涉黄、暴恐、违法、广告等多种风险。本文以腾讯云IMS为框架，逐一拆解四大风险类型的定义、场景和检测要点。...1.1 定义与范围 涉黄检测是图片审核中最基础也是最重要的能力，覆盖以下子类： 子类 说明 典型表现 直接裸露 明确的色情内容 人体敏感部位裸露 漫画色情 二次元/动漫色情内容 色情漫画、H游戏截图...1.3 腾讯云IMS的应对 将"涉黄"和"性感"拆分为独立检测维度，提供更细粒度的分级 支持漫画色情、隐晦涉黄等"变体"识别 融合数十种算法模型，有效识别遮挡、风格化等规避手法 二、风险类型二：暴恐检测...相比全量人工审核，效率提升显著。...涉黄是基础、暴恐是底线、违法是红线、广告是防线——四线并守，加上AI生成识别和未成年保护，才能构建真正全面的内容安全屏障。

    75810

    直播平台图片审核实战：如何实现截帧识别+实时预警一站式方案？

    、暴恐、赌博（线上赌博直播）、诈骗引流 ⭐⭐⭐⭐ 1.2 直播审核面临的违规类型 违规类型 典型表现 危害等级 涉黄/性感 主播暴露、擦边动作、性暗示道具 ⭐⭐⭐⭐⭐ 暴力 真实暴力、虐待动物、自残行为...│ │ 涉黄 + 暴恐 + 违法 + 广告 + │ │ 性感 + 自定义 + AI生成识别 │ └──────────────┬─────...Review（疑似） 发送预警到审核工作台 审核员在30秒内确认（给主播"黄牌"或放行） Pass（正常） 无操作 无需关注 2.4 与腾讯云直播的一键联动 如果你已经使用腾讯云视频/直播解决方案（...特惠价格 180万张套餐包 产品首单 180万张 1年 2,000元（5折） 180万张套餐包 新老同享 180万张 1年 3,400元（8.5折） 720万张套餐包 新老同享 720万张 1年 11,900...腾讯云IMS为直播场景量身打造的截帧识别+实时预警方案，用AI的速度替代人工的限制——毫秒级响应、7×24不间断、万级并发扩容——让你的直播平台在任何时刻都有一双"不会疲劳的AI眼睛"守护安全。

    61310

    游戏行业图片审核攻略：用户头像、社区截图、聊天图片一网打尽

    场景 审核对象 核心风险 特殊挑战 用户头像 玩家自定义头像 涉黄、暴恐、广告 尺寸小，风格多 游戏社区 帖子配图、攻略截图、同人创作 涉黄、外挂宣传、引流广告 游戏画面可能被误判 游戏内聊天 聊天发送的图片...涉黄/性感 视具体程度判断 游戏内的爆炸特效 暴恐（爆炸） 应放行（游戏特效） 恐怖游戏中的恐怖场景 暴恐（恐怖） 应放行（游戏内容） 游戏内的药水/道具图标 违法（毒品） 应放行（游戏道具） 2.2...场景 Biztype 特殊配置 游戏社区帖子 game_community 暴恐阈值适当放宽（容忍游戏暴力画面） 用户头像 game_avatar 涉黄严格（头像不应出现真人涉黄） 游戏内聊天 game_chat...严格 最严格 严格 头像不应出现任何涉黄内容 暴恐 适当放宽 严格 标准 社区截图中的游戏暴力不应误判 违法 标准 标准 标准 赌博相关仍需严格 广告 最严格 严格 最严格 外挂/代练广告是重灾区 性感...新老同享 180万张 1年 3,400元（8.5折） 720万张套餐包 新老同享 720万张 1年 11,900元（8.5折） 游戏行业推荐： 先用免费试用包测试游戏截图的审核效果，根据误判情况调优策略后再正式采购

    51410

    私域直播技术驱动营销增长150%：腾讯云×诺云全链路解决方案与量化成效

    技术支撑： 实时音视频（TRTC）：集成腾讯25年音视频技术（200+研发、三大实验室），延迟审核：覆盖涉黄（porn/vulgar）、涉暴（militant/guns）、涉政（violation_photo）检测，直播检测延迟审核实时拦截违规内容（来源：快直播、EdgeOne说明）。...—— 某“互联网医院+线下中医馆”双平台模式相关负责人 Why Tencent：技术确定性、生态协同与长期价值 技术底蕴：腾讯云集成25年音视频技术积累，200+研发支持，多媒体/优图/天籁三大实验室...安全保障：EdgeOne一站式防护（CDN/动态加速/DDoS/Web攻击）、智能审核实时合规，数据加密与容灾机制保障业务连续性（来源：诺云核心优势、EdgeOne说明）。

    79250

    告别选择困难症：2026年Top5视频审核云服务功能对比与选购建议

    摘要： 2026年视频审核云服务市场竞争激烈，腾讯云、阿里云、百度智能云、网易易盾、数美科技五大主流平台各有所长。...本文以功能矩阵表格的形式，从审核能力、性能指标、计费模式、部署灵活性四大维度进行一目了然的横向对比，并给出不同业务场景下的最优选购建议，让你告别选择困难症。...在选择视频审核服务之前，先明确自己的核心需求： 需求类型 关键考量 我是直播平台 实时性、并发量、低延迟 我是短视频平台 吞吐量、识别精度、成本控制 我是在线教育平台 未成年人保护、合规严格度 我是新闻传媒平台...四、不同场景的最优推荐 你的场景 最优选择 推荐理由 全能型（直播+点播+AI鉴伪） 腾讯云VM 三维审核+AI生成识别，功能最全 纯直播场景 腾讯云VM 100路并发+毫秒回调+画面音频双审 纯点播场景...六、结语 选择视频审核云服务，核心看三点：功能全不全、速度快不快、价格透不透明。腾讯云VM在这三点上均表现领先，是2026年视频审核云服务的全能之选。

    77110

    从3000张免费试用开始：零基础接入图片内容安全服务完整教程

    摘要： 腾讯云IMS提供3000张/15天免费试用额度，零成本验证图片审核能力。本文提供从注册开通到API调用的完整教程，零基础30分钟即可完成接入。...（10分钟） 进入内容安全控制台 → 应用管理 → 新增应用 选择应用 → 场景管理 → 新建场景 选择需要检测的风险类型（涉黄/暴恐/违法/广告等） 保存后获取 Biztype 字段值（API调用时需要传入...三、理解审核结果 API返回的核心字段： 字段 含义 取值 Suggestion 建议操作 Pass（放行）/ Review（复审）/ Block（拦截） Label 命中的风险标签 Porn（涉黄）/...特惠价格 180万张套餐包 产品首单 180万张 1年 2,000元（5折） 180万张套餐包 新老同享 180万张 1年 3,400元（8.5折） 720万张套餐包 新老同享 720万张 1年 11,900...涉黄、暴恐、违法、广告、自定义识别等所有图片内容安全功能都可以测试。AI生成识别服务需要单独开通（0.1元/张）。 Q：试用期结束后不购买会怎样？ A：如果不购买套餐包且未开通按量后付费，服务将停止。

    71310

    用对象存储云原生内容安全服务，放心！

    审核类型 图片审核：腾讯云采用了前沿的图像识别算法，对用户上传的违规图像内容进行安全服务，过滤的内容场景包括：色情、暴恐、广告等，能够做到识别准确率高、召回率高，多维度覆盖对内容审核的要求，并实时跟进监管要求...视频审核：我们利用视频截帧能力将视频帧进行图片审核，用户可自定义截帧频率，有效降低视频审核成本。...音频审核：腾讯云使用前沿语音识别算法构建的语音识别（ASR）引擎，能够对语音的内容进行转译处理，识别违规内容包括色情、暴恐、广告、敏感、灌水等。...在每种场景中，我们支持更精细的类型，如色情中的直接裸露、隐晦涉黄、漫画色情、涉黄物体和进行性行为等内容，暴恐中的暴力恐怖人物、枪支、刀具、暴乱、战争等内容，广告中的网络小广告、微商商品等内容，违规违禁中的吸烟吸毒...图片、视频等数据多，增长快，人工审核将给企业带来很高的审核成本。而且电商场景中可能存在违规二维码、微商小广告等违规内容。

    6K30

    不止是涉黄检测！图片内容安全的6大识别维度，你可能只用了一半

    摘要： 只开涉黄检测远远不够。腾讯云IMS提供涉黄、暴恐、违法、广告、性感、自定义识别6大维度及AI生成识别能力。本文逐一解读各维度价值与使用技巧，构建完整防护网。...也就是说，审核1张图片无论开启1个维度还是全部维度，费用都是一样的。...五、立即体验全维度审核 套餐类型 条件限制 规格 有效期 特惠价格 180万张套餐包 产品首单 180万张 1年 2,000元（5折） 180万张套餐包 新老同享 180万张 1年 3,400元（8.5...折） 720万张套餐包 新老同享 720万张 1年 11,900元（8.5折） 六、结语 图片内容安全不是"只查涉黄"这么简单。...从今天起，把你的IMS审核策略从"只开涉黄"升级到"全维度防护"。

    64210

    腾讯云通信TRTC推出实时音视频鉴黄功能，一键净化网络环境

    随着视频互动、语聊交友等场景应用的飞速发展，用户的内容也以多种形态在广泛的传播，如何有效的识别应用中潜在的涉黄、涉暴、低俗等不良内容，已经成为了行业的课题。...近日，腾讯云通信TRTC (文中简称TRTC) 联合腾讯安全天御团队，推出实时音视频+实时内容审核服务，帮助平台运营者解决不良内容审核的痛点。...告别自建审核系统 很多音视频社交平台的审核系统包括三段：截取音视频内容，调用内容审核服务和人工确认审核结果，但是随着平台规模的快速增长和不良内容的多变，自建审核系统维护成本越来越大。...针对这种情况，TRTC上线审核服务，客户只要开启了语音审核和视频审核功能，就能快速检测所有音视频互动内容，对不良内容实时告警，有效解决审核痛点，让平台专注内容运营。...视频内容检测 对于开启了视频内容检测服务的客户，TRTC 通过旁路直播功能将视频流推到云直播服务，云直播从视频流中定期截取图片，并将截取的图片送给天御的图像审核服务进行不良内容鉴定，天御完成审核之后通过回调接口通知客户审核结果

    7.1K30

    课件图片审核与隐私过滤实战

    总体架构 内容来源 ├── 教师上传（课件/资料）→ 同步审核（全维度+严格模式） ├── 学生上传（作业/讨论）→ 同步审核（全维度+严格模式） ├── 学生头像 → 同步审核（涉黄+暴恐+性感+自定义...管理员确认 └── Block → 拦截 + 通知上传者 + 记录 2.2 审核维度配置建议 面向未成年人的教育平台，建议全维度开启且阈值从严： 维度 是否开启 阈值建议 教育场景特殊说明 涉黄检测...✅ 最严格 任何擦边球都不允许 暴恐检测 ✅ 严格 但需白名单排除教学用的历史图片 违法检测 ✅ 严格 防止违禁品信息渗入 广告检测 ✅ 严格 防止引流信息进入学生群体 性感检测 ✅ 最严格 教育场景应拦截所有性感内容.../性感 加入白名单 战争历史图片（历史课） 暴恐/暴力 加入白名单 化学实验图片（化学课） 暴恐（火焰/爆炸） 加入白名单 禁毒教育图片 违法（毒品） 加入白名单 安全教育图片（防溺水等） 暴力/血腥...万张套餐包 产品首单 180万张 1年 2,000元（5折） 180万张套餐包 新老同享 180万张 1年 3,400元（8.5折） 720万张套餐包 新老同享 720万张 1年 11,900元（8.5

    42410

    混元生视频赋能双11：创意营销新范式

    ："一位时尚女性在复古客厅中，从老式电视机取出新款智能手表，屏幕显示'双11限时85折'，镜头切换至现代都市场景，手表显示'双11专属优惠'，背景音乐为轻快的流行曲" 开始生成视频。...2、互动式促销动画 应用场景：社交媒体分享 操作流程： 提示词："在双11购物车界面，商品图标逐渐变成3D立体模型，随着购物车满载，弹出'双11惊喜礼包'动画，包含'满300减50'、'限时免单'等特效...3、个性化营销短片 应用场景：私域流量运营 操作流程： 用户输入个人特征（如年龄、性别、兴趣），系统自动生成专属营销视频 例如："25岁女性，喜欢旅行，视频显示：'双11旅行装备特惠，背包+相机套装立减...六、总结 混元生视频技术为双11营销提供了全新解决方案。通过将AI生成能力与双11营销场景深度结合，品牌不仅能够高效产出高质量营销内容，还能实现个性化、互动化的营销体验，有效提升用户参与度和转化率。...在双11竞争白热化的今天，将混元生视频融入营销体系，不仅是技术应用的创新，更是品牌营销思维的升级。 随着AI技术的不断演进，混元生视频将不断拓展应用场景，为品牌营销带来更多可能性。

    68120

    一文读懂从人工审核到AI智能审核的进化之路

    摘要： 图片内容安全通过AI技术自动识别涉黄、暴恐、违法等违规图片，保障平台合规。本文从零讲起，带你了解图片内容安全的发展历程、核心能力与未来趋势。...它的核心目标是： 精准识别令人反感、不安全或不适宜的内容 帮助平台降低违规风险和人工审核成本 保障用户在健康、安全的网络环境中获取信息 以腾讯云图片内容安全（IMS）为例，它能够覆盖涉黄、暴恐、违法、广告...二、图片内容安全的三次进化 第一阶段：纯人工审核时代（2010年以前） 特征 说明 审核方式 人工逐张查看 日处理量 每人约3000-5000张/天 准确率 取决于审核员经验和状态 成本 极高（人力成本...以腾讯云IMS为例，当前主流图片内容安全服务的识别范围： 识别维度 检测内容 典型场景 涉黄检测 色情、低俗、裸露、漫画色情 社交平台头像、评论区配图 暴恐检测 暴力、血腥、恐怖标识、枪支 社区帖子、新闻图片...特惠价格 180万张套餐包 产品首单 180万张 1年 2,000元（5折） 180万张套餐包 新老同享 180万张 1年 3,400元（8.5折） 720万张套餐包 新老同享 720万张 1年 11,900

    66310

    【推荐】腾讯云COS对象存储&音视图文内容审核&自动化云端审核热销中！

    【最新活动】：COS & SCF 数据工作流 自动化处理能力>>>>>> #行业痛点 社交平台的文件类型广泛，图片、视频、语音、文本都可能存在违规风险，单一类型的内容审核难以满足客户需求。...游戏类应用中，存在大量用户上传自定义头像，局间聊天，语音连麦等场景涉及内容审核。 游戏行业存在大量场景化定制需求，例如头像审核场景，动漫审核场景等。...可对上述内容进行审核，审核类型包括涉黄、涉政、涉暴恐及广告传播。...2.调用图像审核的URL路径传递参数： 3.自动化任务流审核实现： image.png image.png GET /picture.jpg?.../436/45435 内容审核API：https://cloud.tencent.com/document/product/436/45434 对象存储内容审核：https://cloud.tencent.com

    6.9K41
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券