帮你快速理解、总结文档立即下载

视频分析

最近更新时间:2026-09-17 18:56:02
我的收藏

功能简介

视频分析(AIMediaAnalysis)是数据万象基于大模型多模态能力推出的视频理解功能,支持传入视频进行内容理解与分析,输出对视频内容的整体描述、结构化标签,或按用户指令生成的自定义理解结果。
与传统视频识别只能返回固定类目标签不同,视频分析具备时序理解与语义推理能力:模型会按指定帧率对视频画面进行连续观察,理解画面之间的时序关联(如人物进出场、动作发生顺序、场景切换、状态变化等),并结合用户传入的文本指令给出贴合业务语义的结论,而非孤立地逐帧打标。
视频分析提供两种分析模式:
分析模式
说明
输出内容
Description(视频描述与标签)
对视频进行联合分析,配合预设模板输出标准化结果,开箱即用,无需编写提示词
视频整体描述 + 分层标签(含置信度)
Custom(自定义分析)
将视频与用户传入的文本指令一起送入大模型,按业务需求自由定义分析目标
大模型输出的自然语言结果

适用场景

影视与媒资内容打标

面向影视平台、媒体机构、短视频业务,使用 Description 模式配合 FTM 模板可自动为视频生成整体描述与分层标签,用于内容归类、媒资库检索、推荐特征补充。相比人工审看打标,可显著降低标注成本并提升入库效率。

具身智能场景中的语义智能标注

具身智能模型训练需要大量带语义标注的操作视频数据,使用 Custom 模式传入标注指令,可让模型对机器人遥操作视频、第一视角采集视频进行自动语义标注,输出任务目标、操作对象、动作过程、场景环境、执行结果等描述性内容,用于构建视觉-语言-动作(VLA)模型的训练语料。

安防与作业场景巡检

使用 Custom 模式传入自定义指令,可完成人物计数、着装识别、行为判断、异常事件定位等任务。例如对仓储、工地、门店的监控视频,让模型统计出现人数、描述着装与主要活动、指出是否存在异常行为,用于事后回溯与巡检报告生成。

商品与营销视频理解

对商品短视频、直播切片、广告素材进行分析,提取商品类别、卖点呈现方式、画面构成等信息,用于素材归档、投放素材筛选与同类素材聚合。

视频摘要与内容速览

对会议录像、课程视频、活动记录等长视频生成结构化描述,作为视频摘要供用户快速判断内容主题,也可作为知识库、检索索引的文本素材来源。

费用说明

视频分析按抽帧张数计费,与图片分析使用相同的计费项,即按分析视频时抽取的画面帧数计费。
帧数由视频时长与抽帧帧率共同决定:视频越长、抽帧帧率越高,抽取的帧数越多,费用也相应增加。例如一段 1 分钟的视频,按默认帧率(每秒 1 帧)分析约产生60帧;若将帧率调整为每2秒1帧,则约产生30帧。通过工作流方式使用时,计费规则一致,详见 图片分析计费项

前提条件

已开通 COS 服务、创建存储桶并上传视频到存储桶。具体操作请参见 存储桶文件
已开通数据万象服务并绑定存储桶。具体操作请参见 存储桶绑定

使用方式

数据万象提供 API 调用和数据工作流两种方式使用视频分析能力,区别如下:
对比项
API 调用
数据工作流
触发方式
业务代码主动调用
视频上传自动触发 / 手动触发存量文件
结果获取
接口同步返回 XML
结果文件持久化保存至 COS、HTTP 消息回调
结果格式
XML
XML/JSON 消息回调、JSON 文件、Markdown 文件
接入成本
需编写调用与解析逻辑
控制台配置,无需编码
典型场景
实时打标、在线业务链路
批量打标、媒资入库、自动化处理

方式一:API 调用

适用于业务侧需要实时获取分析结果的场景,例如视频上传后即时生成标签、业务链路中同步返回内容描述等。
通过 POST /?ci-process=AIMediaAnalysis 发起请求,在请求体中传入视频(ObjectKey 或 Url)与文本内容,并通过 Conf 指定分析模式与模板,接口同步返回 XML 格式的分析结果。请求示例如下:
POST /?ci-process=AIMediaAnalysis HTTP/1.1
Host: <BucketName-APPID>.ci.<Region>.myqcloud.com
Date: <GMT Date>
Authorization: <Auth String>
Content-Type: application/xml

<Request>
<Input>
<Message>
<Content>
<Part>
<Type>Text</Type>
<Text>请描述视频中出现的主要场景和人物活动。</Text>
</Part>
<Part>
<Type>Video</Type>
<ObjectKey>media/drama_clip.mp4</ObjectKey>
</Part>
</Content>
</Message>
</Input>
<Conf>
<Type>Custom</Type>
</Conf>
</Request>
完整的请求参数、响应字段、错误码与实际案例请参见 视频分析 API

方式二:数据工作流自动触发

适用于视频批量分析、视频上传即分析等无需业务侧编码介入的场景。
数据万象支持设置数据工作流,每个工作流与输入存储桶的一个路径绑定,当视频上传至该路径时工作流被自动触发,自动执行视频分析并将结果保存至目标存储桶的指定路径下;对于存储桶中的存量视频,也可通过工作流的测试功能立即触发执行。
工作流方式的核心优势在于:分析结果可直接以 JSON 或 Markdown 格式持久化保存到 COS,无需业务侧再自行接收、解析和落库。
JSON 格式:保留完整的结构化字段(描述、标签名、标签值、置信度、视频信息等),便于程序读取、入库与二次加工,适合构建媒资索引、标签库与数据分析管道。
Markdown 格式:以可读性优先的排版组织描述与标签内容,可直接用于人工查阅、内容归档,或作为知识库、RAG 语料的输入。
结果文件支持通过工作流变量渲染文件名与路径,可将分析结果与源视频保存在同一目录下并保持命名一致,便于后续按视频维度关联读取,适用于数据集构建、模型训练素材管理等需要「视频 + 分析结果」成对存放的场景。
配置步骤简述如下:
1. 登录 数据万象控制台,进入目标存储桶的任务与工作流 > 工作流管理页面,单击创建工作流
2. 配置输入路径(工作流监听的目录)与格式匹配(选择音视频文件规则或自定义规则),确保只有目标视频进入工作流。
3. 配置工作流区域添加视频分析节点,选择分析模式与模板(Description + FTM,或 Custom + 自定义指令)。
4. 在节点的输出配置中,选择结果保存格式为 JSONMarkdown,并设置目标存储桶、目标路径与目标文件名。目标文件名支持使用工作流变量渲染,例如 ${InputName}.json,可使分析结果与源视频一一对应。
5. 保存并启用工作流。工作流启用后将在5分钟内生效,后续上传至该路径的视频将自动完成分析并输出结果文件。
工作流的创建、管理、执行实例查看、变量说明等完整操作请参见 数据工作流