每日论文速递 | Agent-Pro：通过策略级反思和优化学习进化

深度学习自然语言处理 分享 整理：pp

Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization

摘要：大型语言模型对不同的任务表现出强大的解决问题的能力。然而，大多数基于LLM的代理都被设计为具有复杂提示工程的特定任务求解器，而不是能够通过交互学习和进化的代理。这些任务求解器需要手动制作的提示来告知任务规则并调节LLM行为，固有地使其无法解决复杂的动态场景，例如，大型互动游戏。有鉴于此，我们提出了Agent-Pro：一个基于LLM的Agent，具有策略级反射和优化，可以从交互式体验中学习丰富的专业知识，并逐步提升其行为策略。具体而言，它涉及到一个动态的信念生成和反思过程的政策演变。Agent-Pro不是行动层面的反思，而是迭代地反思过去的轨迹和信念，微调其非理性信念，以制定更好的政策。此外，深度优先搜索用于策略优化，确保策略收益的持续增强。代理专业评估两个游戏：二十一点和德州扑克，优于香草LLM和专业模型。我们的研究结果表明，Agent-Pro可以在复杂和动态的场景中学习和发展，这也有利于许多基于LLM的应用程序。

https://arxiv.org/abs/2402.17574

Q1: 这篇论文试图解决什么问题？

A：这篇论文试图解决的问题是如何设计一个基于大型语言模型（LLMs）的智能代理（Agent-Pro），使其能够在复杂的交互环境中通过政策层面的反思和优化来学习和进化。具体来说，论文关注以下几个关键问题：

交互式学习与进化：大多数现有的LLM-based代理是为特定任务设计的，需要手动精心设计的提示（prompts）来指导任务规则和调节模型行为。这些任务解决者在面对复杂动态场景（如大型互动游戏）时，往往无法有效应对。论文提出了Agent-Pro，一个能够在交互体验中学习丰富知识并逐步提升其行为策略的代理。

动态信念生成与反思：Agent-Pro涉及一个动态信念生成和反思过程，用于策略进化。与传统的动作层面反思不同，Agent-Pro迭代地反思过去的轨迹和信念，通过“微调”其不合理的信念来改进策略。

策略优化：为了确保策略收益的持续提升，论文采用了深度优先搜索（DFS）来优化策略。这确保了代理在策略层面的持续改进。

多智能体共存：在多智能体环境中，Agent-Pro需要能够与其他智能体互动并从这些互动中学习，这对于现实世界中的许多任务（如商业谈判、安全等）具有重要意义。

现实世界应用：通过自我学习和进化，Agent-Pro可以在现实世界中的类似场景中提高部署效果，显著扩展LLM-based代理的能力边界。

总结来说，论文的核心目标是开发一个能够在复杂和动态环境中自主学习、适应和进化的智能代理，这在人工智能领域是一个具有挑战性且前景广阔的研究方向。

Q2: 有哪些相关研究？

A：论文中提到了与Agent-Pro相关的几个研究领域和具体工作，主要包括：

LLM-based Agent Systems：研究者们利用大型语言模型（LLMs）的强大语言理解和推理能力，设计了多种基于LLM的代理系统。例如，Schick等人（2023）和Wu等人（2023a）利用LLMs的规划能力来调用专业模型和工具进行任务解决。还有一些开源项目，如AutoGPT4、gentGPT5、BabyAGI等，开发了基于LLM的助手。

Interactive Scenarios with LLMs：LLMs也被应用于交互式场景中，例如ReAct（Yao等人，2022）将推理、行动和观察整合到问题解决过程中。Park等人（2023）介绍了能够模拟人类行为的生成性代理。Fu等人（2023）展示了LLMs在谈判场景中如何相互改进。

Improving LLM Responses：为了提高LLMs响应的质量，研究者们开发了多种策略，包括开发更优越的推理架构（如Chain-of-Thoughts、Tree of Thoughts、Graph of Thoughts）和优化LLMs输出的后处理策略（如Reflexion、Self-Refine、Self-Contrast）。

Automatic Prompt Optimization：除了优化LLMs的输出，许多研究者还通过搜索更有效的提示来提高LLMs的性能。例如，APO（Pryzant等人，2023）模拟了梯度优化过程，通过分析当前提示未能准确预测的实例来计算提示的“梯度”。

LLMs in Game-Theoretic Scenarios：一些研究探索了LLMs在博弈论场景中的理性决策能力，例如在德州扑克等游戏中的表现（Fan等人，2023）。

Self-Play and Learning：研究者们还关注了LLMs在自我对弈和学习中的表现，例如在星际争霸（StarCraft）和我的世界（Minecraft）等游戏中的代理设计（Ma等人，2023；Wang等人，2023a；Gong等人，2023）。

Q3: 论文如何解决这个问题？

A：论文通过提出一个名为Agent-Pro的框架来解决上述问题，该框架包含以下几个关键组件和步骤：

动态信念生成与反思（Dynamic Belief Generation and Reflection）：

• Agent-Pro在与环境互动时，会生成关于自身（self-belief）和环境（world-belief）的动态信念。
• 在决策过程中，代理会基于这些信念来选择行动。
• 当任务结束后，代理会进行政策层面的反思，检查信念的一致性和正确性，并根据结果调整信念。

行为策略优化（Behavioral Strategy Optimization）：

• 代理通过迭代地反思过去的行动轨迹和信念，自主地“微调”其信念，以形成更好的行为策略。
• 为了优化策略，Agent-Pro采用了基于深度优先搜索（DFS）的策略，确保策略收益的持续提升。

交互式学习（Interactive Learning）：

• Agent-Pro在交互游戏中通过探索-反思-进化（Exploration-Reflection-Evolution）的过程进行学习。
• 在探索阶段，代理会随机选择游戏实例进行游戏，并根据当前策略和信念生成过程进行游戏。
• 在反思阶段，如果代理输给了对手，它会立即进行政策层面的反思，并在通过验证后更新到新的策略。
• 在进化阶段，代理会通过DFS搜索来评估和优化新策略。

多智能体共存（Multi-Agent Coexistence）：

• Agent-Pro在多智能体环境中学习，这意味着它需要考虑其他智能体的行为和策略，从而动态调整自己的行为。

实验验证（Experimental Validation）：

• 论文通过在两个游戏（Blackjack和Texas Hold’em）中评估Agent-Pro，展示了其在复杂和动态场景中的学习能力和进化能力。
• 实验结果表明，Agent-Pro在与普通LLM和专门模型的比较中表现出色，能够通过互动和反思显著提升其能力。

通过这些方法，Agent-Pro能够在没有人类指导的情况下，通过与环境的互动学习和进化，从而在复杂动态的任务中表现出更高级的策略和行为。这种能力不仅在游戏领域有应用前景，也可以扩展到现实世界中的多种复杂任务中。

Q4: 论文做了哪些实验？

A：论文中进行了以下实验来验证Agent-Pro的性能和学习进化能力：

游戏环境设置：

• 选择了两个游戏作为测试环境：Blackjack（21点）和Limit Texas Hold’em（德州扑克）。
• 使用RLCard模拟器来模拟游戏环境，并训练了两个基于强化学习的对手：DQN（Deep Q-Network）和DMC（Deep Monte Carlo Search）。

实验设置：

• 对于Blackjack，简化了Agent-Pro的学习过程，没有使用验证（Verification）和基于DFS的策略进化，因为21点游戏相对简单，状态空间较小。
• 对于Texas Hold’em，详细设置了学习过程，包括探索（Exploration）、反思（Reflection）和进化（Evolution）三个阶段。
• 在“训练”集上进行探索和反思，在“开发”集上进行策略评估，并在“测试”集上评估所有方法的有效性。

性能评估：

• 在Blackjack游戏中，报告了每个代理对庄家的胜率。
• 在Texas Hold’em游戏中，报告了各种LLM-based代理与其他三个玩家（DQN、DMC、GPT-3.5）的最终筹码计数。

策略分析：

• 分析了Agent-Pro在不同初始手牌总值下的行为，例如在庄家明牌点数低或高时的Hit（要牌）率。
• 分析了Agent-Pro在整个学习过程中的表现，观察其策略如何随着迭代次数的增加而发展。

政策进化分析：

• 手动选择了20个具有挑战性的游戏实例，测试了早期学习阶段的Agent-Pro（Agent-Pro-Early）、经过学习的Agent-Pro和Vanilla LLM。
• 分析了策略在游戏的四个阶段（PreFlop、Flop、Turn、River）中如何演变，特别是在最保守的Fold（弃牌）和最激进的Raise（加注）行为的频率。

局限性分析：

• 讨论了Agent-Pro依赖于基础模型的能力，特别是其推理和反思能力。
• 提出了性能改进的空间，尽管Agent-Pro在游戏场景中取得了显著进步，但与最先进的算法（如CFR+）之间仍可能存在差距。

Q5: 有什么可以进一步探索的点？

A：尽管Agent-Pro在交互式学习和策略优化方面取得了显著进展，但仍有许多潜在的研究方向可以进一步探索：

更广泛的游戏和任务：将Agent-Pro应用于更多样化的游戏和任务，以测试其泛化能力和适应性。这可能包括更复杂的多人游戏、实时策略游戏、以及现实世界的谈判和决策任务。

更强大的基础模型：探索在更强大的LLMs上实现Agent-Pro，例如GPT-4或未来的LLMs，以评估其性能提升和学习效率。

多智能体协作与竞争：研究Agent-Pro在多智能体环境中的协作和竞争策略，特别是在需要团队合作或对抗对手的场景中。

实时学习和适应：改进Agent-Pro以实现实时学习和适应，这对于动态变化的环境尤为重要，如金融市场或实时战略游戏。

更复杂的策略和行为模式：开发更复杂的策略和行为模式，使Agent-Pro能够执行更高级的战术，如欺骗、合作和长期规划。

可解释性和透明度：提高Agent-Pro的决策过程的可解释性和透明度，以便更好地理解其学习过程和策略选择。

跨领域学习：研究Agent-Pro在跨领域学习中的性能，例如从游戏学习到的知识如何迁移到商业谈判或医疗诊断等其他领域。

安全性和伦理考量：在设计和部署Agent-Pro时考虑安全性和伦理问题，确保其行为符合社会规范和道德标准。

计算效率和资源优化：优化Agent-Pro的计算效率，减少资源消耗，使其能够在资源受限的环境中运行，如移动设备或边缘计算设备。

用户交互和个性化：研究如何将Agent-Pro与用户交互相结合，提供个性化的策略建议和决策支持。

Q6: 总结一下论文的主要内容？

A：这篇论文提出了一个名为Agent-Pro的框架，旨在设计一个能够在复杂交互环境中学习和进化的基于大型语言模型（LLMs）的智能代理。以下是论文的主要内容总结：

问题背景：现有的LLM-based代理通常是为特定任务设计的，需要手动设计的提示来指导行为，这限制了它们在复杂动态场景中的适应能力。论文提出了Agent-Pro，一个能够通过交互学习并优化行为策略的代理。

Agent-Pro框架：Agent-Pro包含三个主要组件：

• 信念感知决策过程：代理根据自我信念（self-belief）和世界信念（world-belief）做出决策。
• 政策层面反思：代理通过反思过去的经验和信念来优化其行为策略。
• 基于DFS的策略进化：代理使用深度优先搜索来迭代更新其策略，以提高策略的有效性。

实验验证：在Blackjack和Texas Hold’em两个游戏中对Agent-Pro进行了评估。实验结果表明，Agent-Pro能够通过学习和进化显著提高其在这些游戏中的表现。

策略分析：论文分析了Agent-Pro在不同游戏阶段的策略变化，展示了其如何从初学者逐渐进化为熟练的策略家。

局限性和未来工作：论文讨论了Agent-Pro的一些局限性，如对基础模型能力的依赖，以及与现有最先进算法之间的性能差距。同时，提出了未来可能的研究方向，包括在更广泛的任务和环境中应用Agent-Pro，以及提高其计算效率和用户交互能力。

以上内容均由KimiChat生成，深入了解论文内容仍需精读论文