首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >多模态输入的管线设计:从图片、语音到工具参数

多模态输入的管线设计:从图片、语音到工具参数

原创
作者头像
Archive
发布于 2026-11-20 13:15:27
发布于 2026-11-20 13:15:27
360
举报
文章被收录于专栏:Agent 架构Agent 架构

从「什么类型都有」开始

一个内部工具型的 Agent,上线时只支持文本输入。三个月后它要处理的东西变成了这样:

  • 用户贴一张报错截图,问这是什么问题
  • 用户传一张纸质单据的照片,要把上面的字段录进系统
  • 用户发一段语音,说「帮我把上周那个单再提交一次」
  • 用户传一份 PDF,里面既有正文也有表格
  • 用户一次发三张图,说「这几个哪个是我们要的型号」

每一类都在往同一条下游链路上挤:拼上下文、调工具、出结果。

如果按类型分别处理,代价是每加一种输入就要改一遍下游——上下文装配要认新类型,工具参数要认新类型,缓存要认新类型,权限校验也要认。加法做到第五种,代码里就出现五条平行分支,且行为各不相同。

多模态管线的真正任务不是「支持更多类型」,是把多种类型收敛成少数几种下游能理解的表示,同时不丢掉「这段内容从哪来」。

先决定收敛到哪一层

这是整条管线最重要的一个决定,做错了后面全是补丁。收敛目标有两个方向,取舍很不一样。

收敛到文本。

图片走 OCR,语音走 ASR,PDF 抽取文本,最后全部变成字符串。

优点很实在:可检索、可当缓存键的一部分、能做关键词校验、token 消耗可控、任何模型都能吃。

代价是丢结构。一张表格 OCR 成文本之后,「第三行第二列」这个位置信息就没了。用户问「总额那栏是多少」,你得靠字段名猜,猜错就是答错。

收敛到视觉 token。

图片直接进多模态模型,不转文本。保留布局、颜色、勾选框、印章位置。

代价同样实在:token 贵、不可检索、缓存键难定义(同一张图裁一块就是另一个键)、并且部分模型对图里的数字有稳定的复述偏差——它会把 1,280.00 说成 1,280 或者 1280.00,看起来对,实际丢了精度。

我的判断标准是一句话:下游要的是字段,还是理解布局。

要字段(金额、单号、日期、地址),收敛到文本。要布局(这页表格哪行是哪行、这个勾选框打没打、印章盖在哪),保留视觉。

两类都要的时候,不要二选一——走下一节的交叉校验。

OCR 与视觉模型不是替代关系

见过两种极端做法,都有问题。

只用视觉模型。 好处是一次调用解决,代码简单。问题是关键字段的精度不可控。模型读图是「理解后再复述」,复述会引入改写:单位被省略、小数点被移位、O 和 0 被互换。这类错误在演示里看不出来,在业务里是灾难。

只用 OCR。 字段准,但理解不了关系。一张发票上「合计」和「税额」两个数字都在,OCR 告诉你它们的位置,但哪一个是总额、它们是不是同一张单的,要靠规则猜。

可行的做法是把两者串起来,分工明确:

  1. 视觉模型负责定位:这张图里哪个区域是金额、哪个是单号,给出区域坐标或框。
  2. OCR 负责取值:在指定区域内做文字识别,取原文。
  3. 校验层负责交叉核对:OCR 取到的值要能通过格式校验(金额两位小数、单号前缀匹配),对不上就降级为人工。

这样精度来自 OCR,理解来自视觉模型,两者不重叠。

有个实现细节值得单独说:区域坐标要跟着内容一起往下传。如果视觉模型只输出「金额是 1280.00」,后面就没法回溯这个数是从哪个框里读的,出错时无从复核。坐标是这个方案的资产,不是中间产物。

token 预算:图片是预算杀手

文本输入的 token 预算好估,图片不好估,因为同一张「图片」在不同处理方式下差几十倍。

影响因素只有两个:分辨率,以及切块策略。多数多模态接口会把大图切成若干块(tile),每块独立编码,所以一张高分辨率图实际占的 token 是「块数 + 全局缩略图」的量级,不是线性于像素。

这意味着两件事。

一是不要用「张数」估算预算。 用户传三张手机截图和传三张 A3 扫描件,token 差一个数量级。按张数限流的策略会在这两种情况下都出错。

二是降采样要按用途定,不按固定比例。 固定的「缩到 1024 长边」看起来很省事,但对两类输入都是错的:

  • 文字类(票据、表单、代码截图):决定可读性的是最小字高,不是长边。缩到最小字高低于识别阈值,OCR 直接失效,而长边可能还很大。
  • 布局类(界面截图、图表):决定可读性的是元素间距,缩得太狠会让相邻元素糊在一起。

可用的做法是先判类型再定缩放:有大量文本的走「保持最小字高」的缩放,布局类走「保持关键元素可分」的缩放。判类型本身可以只看元数据(尺寸、长宽比)加一次廉价分类,不必上模型。

多图场景还要一个机制:按需加载。用户一次传五张图,不一定每张都要进上下文。先只把第一张或缩略图送进去,模型判断需要看哪张再取原图。这个改动能显著压掉平均 token,代价是多一次往返。

来源标记不能在收敛过程中丢掉

内容从图片来、从语音来、从用户打字来,这句话必须跟着内容一路走到执行层。

原因不是洁癖。输入治理那篇讲过,工具返回值、文档内容这些外部文本不能和系统指令处在同一信任级。多模态管线天然是外部内容的入口,如果收敛时把「这段是 OCR 出来的」这个信息抹掉,下游就没法做信任分级。

具体做法是每段内容带一个来源标签:

  • user_text —— 用户直接打字
  • ocr —— 图像文字识别
  • asr —— 语音转写
  • vlm_caption —— 视觉模型生成的描述
  • doc_extract —— 文档抽取

这个标签要做成数据结构里的字段,不要做成提示词里的一句「以下内容来自图片」。后者在长上下文里会被稀释,也没法被代码读取。

asr 和 vlm_caption 这两类要特别注意,它们不是原文。ASR 会把「幺三八」写成「138」也可能写成「要三八」;视觉模型描述图时会补全它「觉得应该有」的东西。这两类内容的信任级应当低于 ocr 和 user_text。

工具参数:别把图片变成一句描述

这是多模态管线最容易出问题的地方,也是最容易被忽略的。

反例:

用户传一张订单截图 → 管线转成 caption「一张包含订单号 O-88213 和金额 1280 元的截图」→ 模型调 submit_refund 时把 caption 里的 1280 当参数传进去

问题不在那句 caption 写得对不对,在于参数的值经过了自然语言的转述。以后要改精度、要加校验、要回溯来源,全都无从下手。

正确的形状是让工具参数引用原件,而不是引用描述:

  • 参数里传 attachment_id 加区域坐标,由服务端去取原图或 OCR 原文
  • 需要具体值时,传的是 OCR 结果的结构化字段(带 conf 和 bbox),不是模型复述的数
  • 校验层比较的是「结构化字段 vs 业务系统」,模型的输出只用来决定调哪个工具、传哪个字段名

一句话概括:模型负责选字段,不负责抄数值。

这条和多模态无关,但多模态让它变得紧急——因为图片里的数字最容易在复述时失真。

缓存键怎么定

多模态的缓存比文本麻烦,因为「同一份内容」的定义变模糊了。

三种常见错误。

用文件名或 URL 做键。 同一个文件被用户重命名就是新键,缓存命中率掉到底。URL 更糟,签名链接每次不同。

用模型输出的 caption 做键。 自我指涉——要拿 caption 当键,得先跑一次模型,缓存就没意义了。

忽略处理参数。 同一张图缩放到不同尺寸、裁不同区域,视觉模型的输入实际不同,结果可能不同。键里不带这些参数,会拿到错误结果。

可行的键是内容的哈希加处理参数:

代码语言:python
复制
import hashlib
import json


def image_cache_key(raw_bytes, pipeline_params, model_id):
    """
    raw_bytes:      原图字节,不要用文件名或 URL
    pipeline_params: 影响实际输入的参数,缺一个就会误命中
    model_id:       换模型必须换键,否则拿到上一个模型的结果
    """
    params = {
        "crop": pipeline_params.get("crop"),          # 裁剪区域
        "max_edge": pipeline_params.get("max_edge"),  # 缩放上限
        "tile": pipeline_params.get("tile"),          # 切块策略
        "fmt": pipeline_params.get("fmt"),            # 是否转码
    }
    h = hashlib.sha256()
    h.update(raw_bytes)
    h.update(json.dumps(params, sort_keys=True, ensure_ascii=False).encode())
    h.update(model_id.encode())
    return h.hexdigest()[:32]

音频同理,raw_bytes 换成音频字节,参数里加采样率和声道数(重采样会改变 ASR 结果)。

文字类的 OCR 结果也值得缓存:同一张图 OCR 两次应当完全一致,缓存能省掉重复计算,也能保证同一次任务里多处引用同一张图时拿到的是同一份文本。

失败与降级要显式

多模态输入的失败率比纯文本高得多,因为中间环节多:解码、缩放、OCR、ASR、模型调用,任何一步都可能失败。

最糟的处理是静默降级。图片解析失败返回空字符串,下游拿到空内容,模型就开始编——它不会说「我没看到图」,它会基于上下文猜一个合理答案。

可行的做法是把失败做成显式状态:

  • 格式不支持:直接告诉用户支持哪些格式,不要尝试修复
  • 过大:说明上限,给出压缩建议,而不是自己缩到糊
  • OCR 无结果:区分「图里没字」和「识别失败」,前者正常,后者要让用户重拍
  • ASR 置信度低:把低置信度的词标出来,让用户确认,不要静默采用
  • 识别出的关键字段校验不过:转人工,不要带着可疑字段继续跑

最后一条最重要。金额、单号、日期这类字段,一旦校验不过就停,不要指望下游兜住。多模态管线的价值有一半在于「能在入口拦住脏数据」,放弃了这一半,就只剩下「能读图」这个能力。

和相邻问题的边界

  • 评测体系架构:那篇讲分层与判定,这篇只讲输入侧。多模态的评测要单独设计(同一内容的不同拍摄质量怎么算同一题),不在这篇范围内。
  • 输入治理:那篇讲注入与信任级,这篇讲来源标记怎么在收敛中保留。两者接口在 source 字段上。
  • 提示词缓存:那篇讲文本前缀缓存,这篇讲图片和音频的缓存键,两者不共用一套键。
  • 工具层治理:那篇讲参数校验的形状,这篇只讲多模态参数不该用自然语言转述。

落地顺序

  1. 先定收敛目标:确认下游要字段还是要布局。这个决定影响后面所有环节。
  2. 把来源标签做成数据结构字段,从入口一路传到执行层。
  3. 图片走「视觉模型定位 + OCR 取值 + 格式校验」,先只做一类单据,跑通再扩。
  4. 按类型定缩放策略,不要用固定比例。
  5. 缓存键用内容哈希加处理参数加模型 ID。
  6. 失败路径全部显式化,关键字段校验不过就转人工。
  7. 最后再做多图按需加载。

第 2 步不要放到后面。来源标签是后面所有校验的依据,事后再补等于把已经拼好的上下文拆开重来。

收尾

多模态管线的复杂度不在「能读多少种格式」,在于每种格式都有自己的一套失真方式:OCR 会错字,ASR 会同音替换,视觉模型会补全不存在的东西,缩放会糊掉细节。

管线的职责是把这些失真控制在入口,而不是让它们流到下游去猜。

收敛到少数几种表示,让下游只面对一种东西;保留来源标记,让下游知道这份东西有多可信。这两件事做对了,类型再多也只是配置问题。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 从「什么类型都有」开始
  • 先决定收敛到哪一层
  • OCR 与视觉模型不是替代关系
  • token 预算:图片是预算杀手
  • 来源标记不能在收敛过程中丢掉
  • 工具参数:别把图片变成一句描述
  • 缓存键怎么定
  • 失败与降级要显式
  • 和相邻问题的边界
  • 落地顺序
  • 收尾
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档