MM-Vet的多模态评估标准如何评估大型多模态模型（LMM）在复杂任务上的表现

技术人生黄勇

发布于 2024-07-19 18:22:01

1400

发布于 2024-07-19 18:22:01

文章被收录于专栏：技术人生黄勇

“ 多大型多模态的评估标准MM-Vet 定义了 6 个核心 VL 功能：识别、OCR、知识、语言生成、空间感知和数学计算，并提出了一个基于 LLM 的开放式输出评估器，可以对不同的问题类型和答案风格进行评估，从而产生统一的评分指标。”

—

目前大型多模态模型(LMM) 展示了解决各种复杂任务的能力，为了评估在复杂多模态任务上的集成能力，新加坡国立大学 Weihao Yu、 Xinchao Wang 联合微软Azure AI团队Zhengyuan Yang、Linjie Li、Jianfeng Wang、Kevin Lin、Zicheng Liu、Lijuan Wang 提出了一种评估标准：MM-Vet。

LMM 表现出了各种有趣的能力，例如解决黑板上写的数学问题、推理新闻图像中的事件和名人以及解释视觉笑话。

模型的快速进步给评估标准的开发带来了挑战。问题包括：

如何系统地构建和评估复杂的多模态任务；
如何设计适用于各种问答类型的评估指标；
如何在简单的性能排名之外提供模型见解。

MM-Vet评估标准的设计基于这样观点：解决复杂任务的有趣能力通常是通过能够集成不同核心视觉语言（VL）功能的通才模型来实现的。

MM-Vet 定义了 6 个核心 VL 功能：识别、OCR、知识、语言生成、空间感知和数学计算，并检查了从功能组合中得出的 16 个感兴趣的集成。对于评估指标，我们提出了一个基于 LLM 的开放式输出评估器。

评估器可以对不同的问题类型和答案风格进行评估，从而产生统一的评分指标。

官方地址：

https://github.com/yuweihao/MM-Vet

论文地址：

https://arxiv.org/abs/2308.02490.pdf

Huggingface 上的 Demo 地址：

https://huggingface.co/spaces/whyu/MM-Vet_Evaluator

—

在MM-Vet 之前，现有的视觉语言评估标准仅需要一到两项简单的视觉语言 (VL) 功能。

如上图中的上面三个任务例子，这些任务只需要特定的一到两种功能，例如识别Recognition、语言生成 Language generation 或 OCR。 ‍‍‍‍

而MM-Vet定义了六大核心VL能力：识别、OCR、知识、语言生成、空间感知和数学计算，用户可以将它们集成起来解决各种复杂的多模态任务。

MM-Vet 包含了16 项定量评估任务。例如，在图1(d)中，回答“右边的女孩会在黑板上写什么？”的问题。

MM-Vet中需要识别三个孩子的性别，在空间上定位被查询的女孩，识别女孩写的场景文本，最后计算结果。

MM-Vet中各能力所占比例。(a)各单项能力所占比例。由于大多数样本需要多个能力,因此比例总和大于100%。(b)各能力组合所占比例。组合比例之和等于100%。

识别能力。识别是指一般的视觉识别能力，包括识别场景、物体、物体属性（颜色、材料、形状等）、计数以及计算机视觉中的各种其他高级视觉识别任务。
知识能力。知识类别涵盖了各种与知识相关的能力，包括社会和视觉常识知识、百科全书式知识以及新闻等时间敏感知识。这种能力要求模型不仅拥有这些知识，而且能够根据需要有效地利用这些知识来解决复杂的任务。
OCR识别能力。光学字符识别（OCR）是指对场景文本的理解和推理能力。对模型进行了测试，以读取图像中的场景文本，并对文本进行推理以解决各种任务。
空间意识能力。空间意识体现了与理解空间相关的各种能力，包括理解对象和场景文本区域之间的空间关系。
语言生成能力。语言生成是一种至关重要的能力，它使模型能够以清晰、引人入胜和信息丰富的方式表达它们的反应。我们使用需要更多扩展答案的问题来评估模型的语言生成能力。
数学计算能力。数学计算能力评估模型在解决书面方程式或野外问题方面的算术能力。

MM-Vet 上的一些模型结果