大模型自身无法推理/规划！ASU | 提出LLM-Modulo框架，可充分发挥LLMs潜力！

引言

对于大语言模型的规划和推理能力，不同的人有不同的看法。一种是过于乐观，认为只要采用合适的提示策略，LLMs就能完成这些任务；另一种是过于悲观，LMs 在规划/推理任务中的唯一好处就是将问题从一种句法格式翻译成另一种，真正解决问题还得靠外部符号求解器。

「本文作者核心观点是：大语言模型（LLMs）自身无法进行规划推理」，但是却能在解决规划问题上发挥积极的作用。为此，作者还提出了一个新的LLM-Modulo框架，这个框架把大型语言模型和一些外部的验证工具结合起来，使LLMs在规划任务中发挥了重要作用。

https://arxiv.org/pdf/2402.01817.pdf

背景介绍

LLMs本质上是在大规模语料库上训练的加强版n-gram模型，模型效果引起了AI研究社区的关注。它们多才多艺，让人们不禁怀疑它们是否能够完成与System2相关的计划和推理任务（如下图所示）。然而，从它们的训练、工作方式来看，LLMs更像是一个巨大的伪系统，纯粹的工程角度来看，「一个系统如果只是持续不断地产生下一个Token，那么它不可能在其内部进行有原则的推理」。

不出所料关于LLMs在推理任务上的表现，在最近的一系列研究中有所减退。有些研究人员质疑了LLMs在规划、逻辑推理、心理咨询等方面的稳健性。尽管如此，在很多文献中，关于LLMs在规划、推理等方面的主张仍然络绎不绝。与此同时，对于LLMs在规划、推理等任务中所扮演的角色，也存在不合理的悲观态度。例如，有的研究主张仅将LLMs作为高级翻译器使用，即将嵌入文本的推理问题转换为符号表示，然后交给外部的符号求解器处理。

事实上，LLMs不仅仅是机器翻译器。它们更像是一种基于我们集体意识训练出来的知识源。虽然它们不太可能拥有系统2的能力，但它们仍然可以成为解决系统2任务的宝贵资源。换句话说，过去炼金术的问题不是化学本身无用，而是人们误以为只要稍微调整一下，化学就能变成更高级的核物理学。这和现在人们对LLMs的期望有点像，「有时候我们忽视了它们真正擅长的事情，有时候又错误地认为它们能做到一些它们实际上做不到的事」。

本篇文章的目的是想让大家对LLMs有个更清晰的认识，不要过于乐观也不要过于悲观。作者们认为，如果使用得当，LLMs就像是强大的外部记忆库，能帮人或机器Agent在思考和解决问题时提供辅助。这些模型很擅长发现不同领域之间的联系和类比。为此，「本文提出了LLM-Modulo框架，就是想解决如何正确利用LLMs的挑战，让它们在不夸大能力的前提下，发挥出最大的作用」。

Why LLMs Cant't Plan

文中作者关于LLMs不能进行规划的原因进行总结，主要有以下4点：

「自主模式下的局限性」：LLMs在自主模式下（即没有外部验证或提示的情况下）并不能生成可执行的规划。即使是最先进的LLM（如GPT-4），在没有错误并达到目标的情况下生成的规划平均只有约12%是可用的。这表明LLMs可能只是做近似的规划检索，而不是真正的规划。

「无法自我验证」：LLMs无法验证自己生成的规划，因此无法通过自我批评来改进。尽管有人认为即使LLMs不能一次性生成正确的解决方案，通过迭代提示，它们可能会通过“自我批评”来提高准确性。但研究表明，LLMs在验证解决方案方面并不比生成解决方案表现得更好。

「知识获取与执行规划的混淆」：文章指出，许多声称LLMs具有规划能力的论文实际上混淆了从LLMs中提取的一般规划知识与可执行规划之间的区别。规划任务需要不仅仅是规划领域知识，还需要能够将这些知识组装成一个可执行的规划，考虑到子目标/资源的相互作用。LLMs通常在提取规划知识方面做得很好，但这并不意味着它们能够生成可执行的规划。

「对自我改进的误解」：有研究声称LLMs可以通过生成规划、自我批评规划然后使用这些规划来自我改进（例如通过生成合成数据来微调自己）。然而，由于LLMs无法验证自己的解决方案，这种自我改进的方法实际上是不可行的。

LLM-Modulo

基于以上理解，本文作者提出了LLM-Modulo框架（如下图所示），旨在结合LLMs的长处和外部基于模型的验证器的优势，通过更紧密的双向交互机制，使LLMs在规划任务中发挥更有意义的角色。

如上图所示，LLM-Modulo框架的基础架构是一个生成-测试-批评循环。具体来说，框架通过让LLMs生成候选规划，并利用一系列外部验证器对这些规划进行评估和反馈，确保了规划的准确性和可靠性。L「LMs在生成创意和潜在解决方案方面表现出色，而外部验证器则严格检查规划是否满足所有必要的约束条件」。这种结合神经网络和符号逻辑的方法，不仅提高了规划任务的准确性，还增强了框架的灵活性和扩展性，使其能够适应各种不同的规划场景。

LLM-Modulo框架的一个关键优势是它「支持人机协作」。领域专家在整个过程中发挥着至关重要的作用，他们的知识用于指导和细化LLM生成的规划，确保规划符合实际需求和约束。此外，通过微调过程，LLM可以从每次成功的规划中学习，逐渐提高其生成高质量规划的能力。这种持续学习和适应的能力，使得框架能够处理复杂的规划问题，包括那些包含不确定性和动态变化的问题。

LLM-Modulo框架「避免了完全依赖LLMs的局限性」，因为最终的规划验证是由外部验证器完成的。这种方法不仅确保了规划的正确性，还允许LLMs在自主模式下，同时通过外部验证器的反馈进行迭代改进。通过这种方式，LLM-Modulo框架能够有效地利用LLMs在规划任务中的潜力，同时确保规划的质量和正确性，为AI在复杂规划任务中的应用提供了一个强有力的框架，尤其是在需要高度可靠性和精确性的领域。

总结

本篇文章，其实作者想要表明：别太乐观也别太悲观看待那些大语言模型在规划和推理上的能力。作者认为这些模型自己是不会规划的，但是它们能够提供辅助，特别是在LLM-Modulo框架中，LLMs能提供关联知识，还能提出一些可能的计划。该框架结合了LLMs的长处和外部基于模型的验证器的优势，通过更紧密的双向交互机制，使LLMs在规划任务中发挥更有意义的角色。