RMoA残差提取Mixture-of-Agents，让Agent发现新东西，并自适应停止「ACL2025」

华东师范大学、美团、东华大学、清华大学联合研究团队提出的RMoA框架，最大限度地提高模型响应的信息利用率，同时最大限度地降低计算成本，本文已被ACL2025接受。

论文地址：https://arxiv.org/abs/2505.24442

开源代码：https://github.com/mindhunter01/RMoA

写在前面：MoA的美好与现实

如果你正在开发Agent产品，一定听过或用过Mixture-of-Agents（MoA）架构。这个让多个AI模型协作解决复杂问题的框架，理论上能够集众家之长，实际使用中却让人又爱又恨：

爱的是：它确实能提升回答质量

恨的是：令人心疼的API调用成本，以及随着层数增加而逐渐"跑偏"的回答质量

华东师范大学、美团等机构的研究团队最近提出的RMoA（Residual Mixture-of-Agents）框架，可能要彻底改变这个局面。

残差学习也跨界：从图像识别到Agent协作

什么是残差学习？一个简单的类比

比如你正在和朋友一起修改一份重要文档。传统的做法是每个人都从头到尾重写整份文档，然后大家比较哪个版本更好。但这样做有一个问题：大部分内容其实都是重复的，真正有价值的是每个人新增加或改进的那一小部分。

残差学习就是这样一个比较聪明的想法：与其让每个人重写全部内容，不如让大家专注于发现和改进差异部分。这样既节省了精力，又能确保每个有价值的修改建议都不会被忽略。

从图像识别到AI协作的启发

2015年，一个叫ResNet的技术在图像识别领域引起了轰动。它解决了一个困扰AI界很久的问题：为什么越复杂的神经网络有时候效果反而更差？ResNet的答案很简单：不要让AI重新学习所有东西，而是让它专注学习"新的改进"。

就像学生做数学题一样，与其每次都从最基础的加减法开始算，不如在前面同学答案的基础上，重点检查和改进可能有问题的步骤。这样既快又准。

RMoA的巧妙借鉴

RMoA的研究者们发现，多个AI模型协作时也面临类似问题：每个AI都试图从零开始给出完整答案，导致大量重复工作和信息浪费。他们灵机一动：为什么不让AI们也学会"只说重点"呢？

具体来说，就是让后面的AI不要重复前面AI已经说过的内容，而是专注于：

发现前面遗漏的信息

纠正可能的错误

补充新的观点

这样，每个AI都能贡献独特价值，而不是简单地重复劳动。就像一场高效的头脑风暴会议，每个人都在前人基础上提出新想法，而不是重复别人已经说过的话。

传统MoA与RMoA架构对比

可以看出RMoA引入了残差机制和多样性选择

三大核心创新：让Agent协作更聪明

贪心多样性嵌入选择：不是所有回答都值得参考

传统MoA会把所有模型的回答都喂给下一层，就像开会时每个人都要发言一样，听起来民主，实际上效率低下。

RMoA引入了一个精巧的筛选机制：

向量化表示：将所有回答转换为向量表示

贪心策略选择：选出最具多样性的K个回答

具体算法：

先选择与所有回答平均相似度最低的那个作为起点

然后逐步选择与已选集合最不相似的回答

核心价值：既保证了观点的多样性，又大幅降低了后续处理的计算量。

残差提取智能体：专门负责发现"新东西"

这是RMoA最核心的创新。研究团队设计了一个专门的残差提取智能体：

核心任务：

比较前一轮和当前轮的回答

识别出真正的新信息、纠正的错误和补充的细节

输出格式：

结构化报告

明确标注"Residuals Detected: Yes/No"

具体的差异内容

形象类比：就像医生会诊时，每个专家不是重复前面医生的全部诊断，而是重点说明自己发现的新问题和不同观点。

残差聚合智能体：把"新东西"有机整合

有了残差信息，还需要另一个智能体负责整合：

工作流程：

接收前一轮的回答

接收当前层的残差信息

将它们融合成一个更完整、更准确的答案

设计理念：遵循软件工程中的单一职责原则

残差提取智能体：专门发现差异

残差聚合智能体：专门整合价值

优势：分工明确，效果更好

RMoA完整架构图

展示了贪心多样性选择、残差提取、残差聚合和自适应终止的完整流程

自适应终止：让系统知道什么时候该停下

智能的边际效益判断

RMoA还实现了一个特别聪明的机制：自适应终止。当系统连续几轮都检测不到有价值的残差信息时，它会主动停止迭代。这就像熟练的程序员知道什么时候代码已经足够好，不需要过度优化一样。这个机制不仅节省了计算资源，还避免了过度迭代可能产生的幻觉问题。

工程实现的精妙细节

嵌入模型的选择与优化

RMoA的开源实现选择了BGE-M3作为嵌入模型，这是一个支持多粒度、多功能的向量化模型。在具体实现中，研究团队做了很多优化：批处理大小设为6，最大长度2048，还支持GPU加速。这些看似简单的参数背后，是大量实验和调优的结果。

角色扮演的认知科学应用

为了最大化智能体间的认知多样性，RMoA为不同任务设计了专门的角色提示词。比如在数学任务中，六个智能体分别扮演理论数学家、竞赛教练、计算科学家、教育内容创作者、博士生和精算师。这种设计不是随意的，而是基于认知科学的研究：不同专业背景会带来不同的思维模式和解决问题的角度。

成本控制的精细化管理

作为一个面向工业应用的框架，RMoA对成本控制非常重视。系统会精确记录每一层、每一步的token消耗，支持不同API的定价模型，还提供了详细的成本分析报告。这种细致入微的成本管理，正是工程师们在实际项目中最需要的功能。

实验验证：数据说话

四大基准测试的全面验证

研究团队在AlpacaEval 2.0、MATH、CRUX和MMLU-redux四个基准上进行了全面测试。结果显示，RMoA在显著降低计算成本的同时，实现了更好的性能。特别是在数学推理任务上，Qwen2.5-7B-Instruct模型的准确率提升了2.26%，Gemma2-9B-Instruct更是提升了13.8%，即使是强大的GPT-4o也提升了4.56%。

成本效益的显著改善

更令人印象深刻的是成本控制效果。在MATH数据集上，RMoA相比传统MoA提升了1.92%的准确率，同时只用了68.83%的token成本。这种性能提升与成本降低的双重优势，正是工业应用最看重的指标。

RMoA在四大基准测试上的表现 - 在所有模型上都实现了显著的性能提升

企业战略咨询的实战验证

为了验证RMoA在实际业务场景中的效果，我基于论文的核心算法开发了一个企业战略咨询系统，并模拟了一个数字化转型案例进行了测试。这个系统集成了RMoA的三大核心创新：贪心多样性选择、残差学习机制和自适应终止功能。

某传统纺织服装企业（年营收50亿，员工3000人）的数字化转型战略制定。系统配置了四个专业角色：市场分析师、财务顾问、运营专家和技术战略师，使用DeepSeek和Qwen两个模型作为底层LLM。

上下滑动查看更多

Slide left and right to see more

从实际运行结果可以看出几个关键特点：

这次实战验证证明，RMoA不仅在学术基准测试中表现优异，在真实的企业应用场景中同样能够提供高质量、低成本的智能化服务。对于需要多专业协作的复杂决策场景，RMoA展现出了传统单一模型和简单MoA无法比拟的优势。

不同模型在不同层数下的性能表现

RMoA能够持续改进，而传统MoA出现性能下降

成本效益分析对比

RMoA在降低成本的同时实现了更好的性能

RMoV：哪些领域最受益

金融风控：多维度风险评估的理想选择

在金融风控场景中，RMoA的残差学习机制能确保风险评估过程中不遗漏任何重要信号。多样性选择机制可以从信贷、市场、操作、合规等不同角度筛选出最有价值的风险观点，避免群体思维导致的风险盲区。自适应终止机制则能在风险评估达到稳定状态时及时停止，既保证了分析质量又控制了成本。

医疗诊断：多学科会诊的AI化实现

医疗诊断是另一个理想的应用场景。RMoA可以模拟多学科会诊的过程，让不同专科的AI助手从各自角度分析病例，残差机制确保每个诊断线索都不会在协作过程中丢失。这种方式既提高了诊断的全面性，又避免了重复检查造成的资源浪费。

代码审查：多视角的质量保证

在软件开发中，RMoA可以实现更高效的代码审查。架构师关注设计模式，安全专家关注漏洞风险，性能专家关注优化空间，运维工程师关注部署问题。残差学习确保每个专家的独特见解都能被保留和整合，形成更全面的代码质量评估。

对Agent开发者的实用建议

渐进式集成策略

如果你正在考虑将RMoA集成到现有的Agent系统中，建议采用渐进式策略：

步骤1：先在非关键路径上试用RMoA

步骤2：熟悉其特性和参数调优方法

步骤3：逐步扩展到核心业务场景

重要提示：特别要注意不同任务类型对K值（多样性选择的数量）的敏感性，通常K=3是一个不错的起点。

成本监控的重要性

部署RMoA时务必建立完善的成本监控机制：

详细统计：利用框架提供的详细token统计功能

层级分析：分析每个层级的成本贡献

优化空间：找出潜在的优化空间

权衡分析：残差提取和聚合过程的成本需要与带来的质量提升进行权衡

角色设计的专业化

投入时间设计高质量的角色提示词，这对RMoA的效果至关重要：

消融实验结果

验证了RMoA各个组件的有效性，其中残差智能体贡献最大

写在最后

RMoA不只是一个新的技术选择，更是一种新的思维方式：让AI系统学会关注变化、珍惜差异、适时停止。这些听起来很像人类智慧的特质，或许这正是通用人工智能发展的正确方向。