用大模型+进化算法，解决多智能体强化学习的奖赏分配和观察能力问题。
LERO: LLM-driven Evolutionary framework with Hybrid Rewards and Enhanced Observation for Multi-Agent Reinforcement Learning
- 用大模型生成混合奖赏函数，动态分解个体贡献。
- 通过推理补全部分观测信息，提升环境感知能力。
- 进化算法优化生成组件，适合复杂协作任务研究者。
多智能体强化学习（MARL）面临两个与单智能体强化学习不同的关键瓶颈：合作任务中的信用分配问题以及环境状态的部分可观测性。我们提出 LERO 框架，将大语言模型（LLM）与进化优化相结合，以应对这些 MARL 特有的挑战。该框架核心包含两个由 LLM 生成的组件：一种动态通过奖励分解分配个体信用的混合奖励函数，以及通过推断环境上下文来增强部分观测的观察增强函数。一个进化算法通过迭代的 MARL 训练周期优化这些组件，其中表现最优的候选方案指导后续的 LLM 生成。在 Multi-Agent Particle Environments（MPE）上的评估表明，LERO 在任务性能和训练效率上均优于基线方法。
原文摘要 · Abstract (English)
Multi-agent reinforcement learning (MARL) faces two critical bottlenecks distinct from single-agent RL: credit assignment in cooperative tasks and partial observability of environmental states. We propose LERO, a framework integrating Large language models (LLMs) with evolutionary optimization to address these MARL-specific challenges. The solution centers on two LLM-generated components: a hybrid reward function that dynamically allocates individual credit through reward decomposition, and an observation enhancement function that augments partial observations with inferred environmental context. An evolutionary algorithm optimizes these components through iterative MARL training cycles, where top-performing candidates guide subsequent LLM generations. Evaluations in Multi-Agent Particle Environments (MPE) demonstrate LERO's superiority over baseline methods, with improved task performance and training efficiency.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。