多模态数据与模型协同进化的自我推理框架

摘要

多模态大语言模型（MLLMs）近期展现出卓越的推理能力，但进一步提升模型性能需要高质量视觉语言数据集，其标注成本高昂且难以扩展。现有自改进模型虽能迭代优化，但仍面临两大挑战：（1）视觉与文本数据分别增强导致复杂度不匹配（如过于简化的图表配冗余文本）；（2）数据与模型进化分离造成任务难度与模型能力失配。

方法

提出C2-Evo自动闭环自改进框架，通过双循环机制协同进化训练数据与模型能力：

1. 跨模态数据进化循环：基于初始数据集生成复杂多模态问题，结合结构化文本子问题与迭代生成的几何图表
2. 数据-模型进化循环：根据基础模型表现自适应选择生成问题，交替进行监督微调与强化学习

结果

该方法在多个数学推理基准测试中持续获得显著性能提升。代码、模型与数据集将公开。

主题分类：计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG）

引用信息：arXiv:2507.16518 cs.CV

版本记录：v1提交于2025年7月22日，v2修订于2025年7月29日