
一个内部工具型的 Agent,上线时只支持文本输入。三个月后它要处理的东西变成了这样:
每一类都在往同一条下游链路上挤:拼上下文、调工具、出结果。
如果按类型分别处理,代价是每加一种输入就要改一遍下游——上下文装配要认新类型,工具参数要认新类型,缓存要认新类型,权限校验也要认。加法做到第五种,代码里就出现五条平行分支,且行为各不相同。
多模态管线的真正任务不是「支持更多类型」,是把多种类型收敛成少数几种下游能理解的表示,同时不丢掉「这段内容从哪来」。
这是整条管线最重要的一个决定,做错了后面全是补丁。收敛目标有两个方向,取舍很不一样。
收敛到文本。
图片走 OCR,语音走 ASR,PDF 抽取文本,最后全部变成字符串。
优点很实在:可检索、可当缓存键的一部分、能做关键词校验、token 消耗可控、任何模型都能吃。
代价是丢结构。一张表格 OCR 成文本之后,「第三行第二列」这个位置信息就没了。用户问「总额那栏是多少」,你得靠字段名猜,猜错就是答错。
收敛到视觉 token。
图片直接进多模态模型,不转文本。保留布局、颜色、勾选框、印章位置。
代价同样实在:token 贵、不可检索、缓存键难定义(同一张图裁一块就是另一个键)、并且部分模型对图里的数字有稳定的复述偏差——它会把 1,280.00 说成 1,280 或者 1280.00,看起来对,实际丢了精度。
我的判断标准是一句话:下游要的是字段,还是理解布局。
要字段(金额、单号、日期、地址),收敛到文本。要布局(这页表格哪行是哪行、这个勾选框打没打、印章盖在哪),保留视觉。
两类都要的时候,不要二选一——走下一节的交叉校验。
见过两种极端做法,都有问题。
只用视觉模型。 好处是一次调用解决,代码简单。问题是关键字段的精度不可控。模型读图是「理解后再复述」,复述会引入改写:单位被省略、小数点被移位、O 和 0 被互换。这类错误在演示里看不出来,在业务里是灾难。
只用 OCR。 字段准,但理解不了关系。一张发票上「合计」和「税额」两个数字都在,OCR 告诉你它们的位置,但哪一个是总额、它们是不是同一张单的,要靠规则猜。
可行的做法是把两者串起来,分工明确:
这样精度来自 OCR,理解来自视觉模型,两者不重叠。
有个实现细节值得单独说:区域坐标要跟着内容一起往下传。如果视觉模型只输出「金额是 1280.00」,后面就没法回溯这个数是从哪个框里读的,出错时无从复核。坐标是这个方案的资产,不是中间产物。
文本输入的 token 预算好估,图片不好估,因为同一张「图片」在不同处理方式下差几十倍。
影响因素只有两个:分辨率,以及切块策略。多数多模态接口会把大图切成若干块(tile),每块独立编码,所以一张高分辨率图实际占的 token 是「块数 + 全局缩略图」的量级,不是线性于像素。
这意味着两件事。
一是不要用「张数」估算预算。 用户传三张手机截图和传三张 A3 扫描件,token 差一个数量级。按张数限流的策略会在这两种情况下都出错。
二是降采样要按用途定,不按固定比例。 固定的「缩到 1024 长边」看起来很省事,但对两类输入都是错的:
可用的做法是先判类型再定缩放:有大量文本的走「保持最小字高」的缩放,布局类走「保持关键元素可分」的缩放。判类型本身可以只看元数据(尺寸、长宽比)加一次廉价分类,不必上模型。
多图场景还要一个机制:按需加载。用户一次传五张图,不一定每张都要进上下文。先只把第一张或缩略图送进去,模型判断需要看哪张再取原图。这个改动能显著压掉平均 token,代价是多一次往返。
内容从图片来、从语音来、从用户打字来,这句话必须跟着内容一路走到执行层。
原因不是洁癖。输入治理那篇讲过,工具返回值、文档内容这些外部文本不能和系统指令处在同一信任级。多模态管线天然是外部内容的入口,如果收敛时把「这段是 OCR 出来的」这个信息抹掉,下游就没法做信任分级。
具体做法是每段内容带一个来源标签:
user_text —— 用户直接打字ocr —— 图像文字识别asr —— 语音转写vlm_caption —— 视觉模型生成的描述doc_extract —— 文档抽取这个标签要做成数据结构里的字段,不要做成提示词里的一句「以下内容来自图片」。后者在长上下文里会被稀释,也没法被代码读取。
asr 和 vlm_caption 这两类要特别注意,它们不是原文。ASR 会把「幺三八」写成「138」也可能写成「要三八」;视觉模型描述图时会补全它「觉得应该有」的东西。这两类内容的信任级应当低于 ocr 和 user_text。
这是多模态管线最容易出问题的地方,也是最容易被忽略的。
反例:
用户传一张订单截图 → 管线转成 caption「一张包含订单号 O-88213 和金额 1280 元的截图」→ 模型调
submit_refund时把 caption 里的1280当参数传进去
问题不在那句 caption 写得对不对,在于参数的值经过了自然语言的转述。以后要改精度、要加校验、要回溯来源,全都无从下手。
正确的形状是让工具参数引用原件,而不是引用描述:
attachment_id 加区域坐标,由服务端去取原图或 OCR 原文一句话概括:模型负责选字段,不负责抄数值。
这条和多模态无关,但多模态让它变得紧急——因为图片里的数字最容易在复述时失真。
多模态的缓存比文本麻烦,因为「同一份内容」的定义变模糊了。
三种常见错误。
用文件名或 URL 做键。 同一个文件被用户重命名就是新键,缓存命中率掉到底。URL 更糟,签名链接每次不同。
用模型输出的 caption 做键。 自我指涉——要拿 caption 当键,得先跑一次模型,缓存就没意义了。
忽略处理参数。 同一张图缩放到不同尺寸、裁不同区域,视觉模型的输入实际不同,结果可能不同。键里不带这些参数,会拿到错误结果。
可行的键是内容的哈希加处理参数:
import hashlib
import json
def image_cache_key(raw_bytes, pipeline_params, model_id):
"""
raw_bytes: 原图字节,不要用文件名或 URL
pipeline_params: 影响实际输入的参数,缺一个就会误命中
model_id: 换模型必须换键,否则拿到上一个模型的结果
"""
params = {
"crop": pipeline_params.get("crop"), # 裁剪区域
"max_edge": pipeline_params.get("max_edge"), # 缩放上限
"tile": pipeline_params.get("tile"), # 切块策略
"fmt": pipeline_params.get("fmt"), # 是否转码
}
h = hashlib.sha256()
h.update(raw_bytes)
h.update(json.dumps(params, sort_keys=True, ensure_ascii=False).encode())
h.update(model_id.encode())
return h.hexdigest()[:32]音频同理,raw_bytes 换成音频字节,参数里加采样率和声道数(重采样会改变 ASR 结果)。
文字类的 OCR 结果也值得缓存:同一张图 OCR 两次应当完全一致,缓存能省掉重复计算,也能保证同一次任务里多处引用同一张图时拿到的是同一份文本。
多模态输入的失败率比纯文本高得多,因为中间环节多:解码、缩放、OCR、ASR、模型调用,任何一步都可能失败。
最糟的处理是静默降级。图片解析失败返回空字符串,下游拿到空内容,模型就开始编——它不会说「我没看到图」,它会基于上下文猜一个合理答案。
可行的做法是把失败做成显式状态:
最后一条最重要。金额、单号、日期这类字段,一旦校验不过就停,不要指望下游兜住。多模态管线的价值有一半在于「能在入口拦住脏数据」,放弃了这一半,就只剩下「能读图」这个能力。
source 字段上。第 2 步不要放到后面。来源标签是后面所有校验的依据,事后再补等于把已经拼好的上下文拆开重来。
多模态管线的复杂度不在「能读多少种格式」,在于每种格式都有自己的一套失真方式:OCR 会错字,ASR 会同音替换,视觉模型会补全不存在的东西,缩放会糊掉细节。
管线的职责是把这些失真控制在入口,而不是让它们流到下游去猜。
收敛到少数几种表示,让下游只面对一种东西;保留来源标记,让下游知道这份东西有多可信。这两件事做对了,类型再多也只是配置问题。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。