视觉理解支持对输入的图片或视频片段进行智能分析,可用于门店清洁检查、人员着装规范、区域安全防护等场景的自动化检查。模型识别什么、如何判断、输出什么,均由分析模板中的提示词(Prompt)决定,提示词的质量直接影响识别准确率。
新建分析模板时,控制台默认提供一套结构化提示词模板,将模板中方括号【】内的占位内容替换为实际业务场景即可快速上手。本文介绍该模板的填写方法与撰写原则,帮助您撰写效果稳定、便于业务系统解析的提示词。分析模板的创建方法请参见 分析模板。
说明:
通用提示词模板
将下方模板中【】内的内容替换为实际场景,即可得到一条结构完整的提示词:
你是一个专注于【场景领域】的视觉理解模型,需要对【输入图片/视频描述】进行分析,核心任务是【核心任务】,识别是否存在【目标问题/对象】,并输出对应结果。## 检查项目检查画面中是否出现以下情况:- 【项目1】:特征描述- 【项目2】:特征描述## 注意事项- ⚠️ 【防漏报:该识别却容易漏掉的情况,提醒模型计入,如目标被遮挡/在画面边缘/目标较小】- ⚠️ 【防误报:不该识别却容易误判的情况,提醒模型排除,如把非目标当目标/相似物体混淆/非目标场景】## 输出字段说明- has_violation:布尔值,true 表示检测到目标问题,false 表示全部合规- inspection_results:数组,包含检测到的所有问题项- task:固定值,【任务名称】- type:字符串,问题类型简称(如"【示例值A】"、"【示例值B】")- detail:字符串,具体情况描述- confidence:置信度等级,可选值:["high", "medium", "low"]- high:特征清晰明确,判断无歧义- medium:存在疑似,特征较明显但不完全确定- low:画面模糊或遮挡较多,判断依据薄弱## 输出要求- 绝对不要输出:文字说明、markdown、```json```、```、注释、空格、换行等多余字符- 仅返回标准紧凑型JSON## 示例输出格式{"has_violation":true,"inspection_results":[{"task":"【任务名称】","type":"【示例值A】","detail":"具体描述","confidence":"high"}]}
模板中各占位符的填写说明:
占位符 | 填写说明 |
【场景领域】 | 业务场景与检查领域,如餐饮门店保洁规范检查 |
【输入图片/视频描述】 | 送入分析的画面内容来源,如门店监控摄像头拍摄的店内画面 |
【核心任务】 | 需要模型完成的一项检查任务 |
【目标问题/对象】 | 判定命中或违规的目标 |
【项目1】【项目2】 | 具体检查项及其特征描述,按需增删条目 |
【防漏报】【防误报】 | 注意事项占位内容,分别写入容易被漏判和误判的边界情况,按需增删 |
【任务名称】 | 输出字段 task 的固定值,与核心任务对应 |
【示例值 A】【示例值 B】 | 问题类型的示例词汇,用于引导模型按统一词汇输出 |
模板中的
## 检查项目、## 注意事项 等井号标题为固定结构,填写时保留标题、替换标题下的内容即可。逐项撰写说明
角色定位
用“你是一个专注于某场景的视觉理解模型”的句式开头,锁定模型的专家身份与专注领域,使判断聚焦在目标场景内。
推荐写法:你是一个专注于餐饮门店客区清洁检查的视觉理解模型。
不推荐写法:你是一个 AI 助手,请帮我分析图片。角色过于泛化,输出内容不可控。
核心任务
说明输入是什么、要做什么、输出什么。建议一个提示词只做一件事,准确率最高;多个检查任务也可以合并在一个提示词中,但任务数量越多,各项准确率通常越低,需结合实际场景权衡。
检查项目
给出目标对象的典型特征描述,使用“通常”、“一般”等表述留出弹性,让模型结合画面综合判断。
推荐写法:保洁人员通常穿红黑色马甲,一般携带清洁工具进行保洁工作。
不推荐写法:保洁必须穿红黑色马甲,必须手持扫帚或拖把,必须正在打扫。规则过度细化会限制模型的视觉理解能力,画面稍有差异即漏判,效果反而下降。
注意事项
针对模型容易出错的情况提前作出约束,核心包括两方面:
防漏报:该识别却容易漏掉的情况,提醒模型计入,如目标被遮挡、位于画面边缘、目标较小等。
防误报:不该识别却容易误判的情况,提醒模型排除,如把非目标当目标、相似物体混淆、在非目标场景硬编结果等。
注意事项按实际场景按需添加,无需逐条套用。
输出字段说明
在此定义模型需要输出的内容与格式。推荐 JSON 格式输出,便于业务系统直接解析;输出字段可根据业务需要自定义,以下为参考示例:
字段 | 说明 |
has_violation | 布尔值,true 表示检测到目标问题,false 表示全部合规 |
inspection_results | 数组,包含检测到的所有问题项 |
inspection_results.task | 字符串,任务名称,固定值 |
inspection_results.type | 字符串,问题类型简称,建议在提示词中给出示例值,引导模型按统一词汇表输出 |
inspection_results.detail | 字符串,具体情况描述 |
inspection_results.confidence | 置信度等级,取值 high、medium、low |
示例输出格式
在此给出模型输出内容的示例,用于向模型演示期望的输出结构与字段顺序。模型需参照示例进行输出,请确保示例与上文的字段说明保持一致。