功能简介
图片分析(AIImageAnalysis)是数据万象基于大模型多模态能力推出的图片理解功能,支持在一次请求中传入多张图片与文本进行联合分析,输出对图片内容的整体描述、结构化标签,或按用户指令生成的自定义理解结果。
与传统图像识别只能返回固定类目标签不同,图片分析具备跨图理解与语义推理能力:它会把多张图片视为一个整体上下文,理解图片之间的关联(如同一商品的多视角、活动的连续抓拍、正副图对照等),并结合随图传入的文本(时间戳、场景描述、分析指令等)给出更贴合业务语义的结论。
图片分析提供两种分析模式:
分析模式 | 说明 | 输出内容 |
Description(图片描述与标签) | 将所有图片一次性送入大模型进行联合分析,配合预设模板输出标准化结果,开箱即用,无需编写提示词 | 图片整体描述 + 分层标签(含置信度) |
Custom(自定义分析) | 将图片与用户传入的文本指令一起送入大模型,按业务需求自由定义分析目标 | 大模型输出的自然语言结果 |
适用场景
电商商品库建设
商品上架时往往同时上传主图、细节图、场景图等多张图片。使用 Description 模式配合
ecommerce 模板,可对同一商品的多张图片进行联合分析,一次性输出品牌、品类、商标等结构化标签,用于自动填充商品属性、构建商品搜索索引、辅助同款商品聚合。媒资内容理解与检索
面向图库、素材库、相册类业务,使用
general 模板可为海量图片自动生成分层标签与整体描述,把非结构化的图片资产转化为可检索、可筛选的结构化数据,显著降低人工打标成本,提升素材复用效率。UGC 内容理解与运营
社区、社交类业务中,用户发布的图文内容需要被快速理解以支撑推荐、聚类与运营。可将用户发布的多张图片与配文一并传入,让模型结合上下文输出内容主题描述与标签,用于话题归类、内容分发与热点洞察。
多图对比与图表解读
使用 Custom 模式传入自定义指令,可以完成跨图比较、图表数据解读、异常差异定位等复杂任务。例如传入不同时间的门店陈列照片与销售数据图表,让模型比较陈列差异并结合数据给出运营建议;或传入设备巡检前后照片,让模型指出变化点。
费用说明
前提条件
已开通 COS 服务、创建存储桶并上传图片到存储桶。具体操作请参见 存储桶文件。
已开通数据万象服务并绑定存储桶。具体操作请参见 存储桶绑定。
使用方式
数据万象提供 API 同步调用和数据工作流两种方式使用图片分析能力,区别如下:
对比项 | API 调用 | 数据工作流 |
触发方式 | 业务代码主动调用 | 图片上传自动触发 |
结果获取 | 接口同步返回 XML | 结果文件持久化保存至 COS、HTTP 消息回调 |
结果格式 | XML | XML/JSON 消息回调、JSON 文件、Markdown 文件 |
接入成本 | 需编写调用与解析逻辑 | 控制台配置,无需编码 |
典型场景 | 实时打标、实时审核、在线业务链路 | 素材入库、离线加工、批量处理 |
方式一:API 同步调用
适用于业务侧需要实时获取分析结果的场景,例如商品上架流程中同步返回标签、用户上传后即时生成图片描述等。
通过
POST /?ci-process=AIImageAnalysis 发起请求,在请求体中传入图片(ObjectKey 或 Url)与文本片段,并通过 Conf 指定分析模式与模板,接口同步返回 XML 格式的分析结果。请求示例如下:POST /?ci-process=AIImageAnalysis HTTP/1.1Host: <BucketName-APPID>.ci.<Region>.myqcloud.comDate: <GMT Date>Authorization: <Auth String>Content-Type: application/xml<Request><Input><Message><Content><Part><Type>Image</Type><ObjectKey>products/shoe_front.jpg</ObjectKey></Part><Part><Type>Image</Type><Url>https://example.com/products/shoe_back.jpg</Url></Part></Content></Message></Input><Conf><Type>Description</Type><TemplateName>ecommerce</TemplateName></Conf></Request>
方式二:数据工作流自动触发
适用于图片上传即分析等无需业务侧编码介入的场景。
数据万象支持设置数据工作流,每个工作流与输入存储桶的一个路径绑定,当图片上传至该路径时工作流被自动触发,自动执行图片分析并将结果保存至目标存储桶的指定路径下;对于存储桶中的存量图片,也可通过工作流的测试功能立即触发执行。
工作流方式的核心优势在于:分析结果可直接以 JSON 或 Markdown 格式持久化保存到 COS,无需业务侧再自行接收、解析和落库。
JSON 格式:保留完整的结构化字段(描述、标签名、标签值、置信度等),便于程序读取、入库与二次加工,适合构建搜索索引、商品属性库、数据分析管道。
Markdown 格式:以可读性优先的排版组织描述与标签内容,可直接用于人工查阅、内容归档,或作为知识库、RAG 语料的输入。
说明:
单个存储桶最多支持创建10条工作流。
建议将结果输出路径与图片输入路径分开,避免输出文件再次触发工作流造成循环执行。
可在工作流实例页面按时间维度查看每次执行的状态、耗时与各节点详情,便于排查问题。