北大等提出MoE-LLaVA：将多模态大模型稀疏化

代码（刚刚开源）:

https://github.com/PKU-YuanGroup/MoE-LLaVA

论文：https://arxiv.org/abs/2401.15947

https://huggingface.co/spaces/LanguageBind/MoE-LLaVA

MoE-LLaVA只有3B个稀疏激活参数，表现与LLaVA-1.5-7B在各种视觉理解数据集上相当，并且在物体幻觉基准测试中甚至超越了LLaVA-1.5-13B。通过MoE-LLaVA，我们旨在建立稀疏LVLMs的基准，并为未来研究开发更高效和有效的多模态学习系统提供宝贵的见解。并且MoE-LLaVA团队已经开放了所有的数据、代码和模型。

图1 MoE-LLaVA在幻觉性能上和其他LVLM的比较

MoE-LLaVA采用三阶段的训练策略。

图2 MoE-Tuning的流程图

如图1，vision encoder处理输入图片得到视觉token序列。利用一个投影层将视觉tokens映射成LLM可接受的维度。相同的，与图片配对的文本经过一个word embedding layer被投影得到序列文本tokens。

阶段1：如图2，对于阶段1，我们的目标是让视觉token 适应到LLM，赋予LLM能够看懂图片的实体有哪些。因此我们采用一个MLP来将图片tokens投影到LLM的输入域，which意味着一个个图片小patch被LLM当作伪文本token。在这个阶段，LLM被训练学会描述图片，which是理解更高层次的图片语义的基本。在这个阶段MoE layer不会被应用到LVLM中。

图3 更具体的训练框架和训练策略

阶段2：用多模态的指令数据来微调是提高大模型能力和可控性的关键技术，and 在这个阶段LLM被调整为有多模态理解能力的LVLM。在这个阶段我们加入更复杂的指令，包含图片逻辑推理，文字识别等高级任务，要求模型有更强的多模态理解能力。通常来说，稠密模型的LVLM到此就训练完成，然而我们在发现同时将LLM转为LVLM和把模型稀疏化是具有挑战的。因此，MoE-LLaVA将使用第二阶段的权重作为第三阶段的初始化以降低稀疏模型学习的难度。

阶段3：作为初始化，我们将FFN复制多份作为专家集合的初始化权重。当视觉token和文本token被喂入MoE layer时，router会计算每一个token和专家们的匹配权重，然后每个token会被送入最匹配的topk个专家进行处理，最后根据router的权重加权求和汇聚成输出。当topk个专家被激活时，其余的专家保持静默，这种模型构成了具有无限可能的稀疏通路的MoE-LLaVA。

图4 MoE-LLaVA在9个benchmark上的性能

如表1所示，由于MoE-LLaVA是第一个搭载soft router的稀疏模型基于LVLM，因此我们将之前的模型归纳为稠密模型。我们在5个图片问答benchmark上验证MoE-LLaVA的性能并报告激活的参数量和图片分辨率。与sota方法LLaVA 1.5相比，MoE-LLaVA-2.7B×4展现了强大的图片理解能力，在5个benchmark的性能上非常接近LLaVA-1.5。其中MoE-LLaVA用3.6B的稀疏激活参数在SQAI上超过了LLaVA-1.5-7B 1.9%。值得注意的是，由于MoE-LLaVA的稀疏结构，使得只需要2.6B的激活参数量就能全面超过IDEFICS-80B。另外，我们关注到最近的小视觉语言模型TinyGPT-V，MoE-LLaVA-1.8B×4在相当的激活参数下在GQA和VisWiz分别超过27.5%和10%，这标志着MoE-LLaVA强大的理解能力在自然视觉中。

为了更全面的验证MoE-LLaVA的多模态理解能力，我们在4个benchmark toolkits上评估性能。benchmark toolkits通常答案是开放性的并且无固定模板，是验证模型能否能自然语言问答的工具包。在图4，MoE-LLaVA-1.8B×4超过Qwen-VL，后者使用更大的图片分辨率。这些结果都展示了，MoE-LLaVA，这一稀疏模型可以用更少的激活参数达到和稠密模型相当甚至超过的性能。

图5 MoE-LLaVA在幻觉物体检测上的性能评估

我们采用pope的评估管道去验证MoE-LLaVA的物体幻觉。结果被展现在在图5，MoE-LLaVA表现最好的性能，意味着MoE-LLaVA倾向于生成与给定图像一致的对象。具体的，MoE-LLaVA-1.8B×4以2.2B的激活参数超过了LLaVA。另外，我们观察到MoE-LLaVA的yes ratio占比处于较均衡状态，这表明我们的稀疏模型能够根据问题做出正确的反馈的行为。

图6专家负载可视化

在图6，我们展示了MoE-LLaVA-2.7B×4-Top2的专家负载在scienceqa上。整体上，在训练初始化时，所有的MoE layer中的专家的负载比较平衡。然而随着模型逐渐被稀疏化，第17到27层的专家的负载突然增大，甚至几乎包揽了所有tokens。对于浅层的5-11层，主要是由专家2，3，4共同协作。值得关注的是，专家1几乎只在第1-3层工作，随着模型变深，专家1逐渐退出了工作。因此，MoE-LLaVA的专家们学到了某种特定的模式，它能够按照一定的规律进行专家们的分工。

图7模态分布可视化

进一步，我们在图7展示不同专家的模态分布。我们发现text和image的路由分布极其相似，例如当专家3在17-27层努力工作时，它所处理的text和image的占比是相似的。这展现出MoE-LLaVA对于模态并无明显的偏好。

进一步的，我们在token level上观察专家们的行为。我们跟踪所有token在稀疏网络中的轨迹在下游任务。对text和image所有的激活的通路，我们用PCA降维得到主要的10条通路如图8所示。我们发现对于某个未见的text token或image tokens，MoE-LLaVA始终偏向于派发专家2和3来处理在模型深层。expert 1，4倾向于处理初始化的token。这些结果能够更好的帮助我们理解稀疏模型在多模态学习上的行为并探索未知的可能。

图8 激活通路可视化