提出分层通用价值函数，提升多目标强化学习的泛化与规划能力。
Hierarchical Universal Value Function Approximators
- 基于选项框架构建分层价值函数，统一状态、目标、选项和动作的嵌入表示。
- 在多个任务上验证泛化能力，性能优于传统通用价值函数。
- 适合需要长期规划与跨任务迁移的强化学习场景。
在多目标强化学习中，通用价值函数近似器已取得关键进展，可参数化地估计状态的长期回报。本文将其扩展至分层强化学习，引入分层通用价值函数近似器（H-UVFAs），利用选项框架实现时间抽象带来的可扩展性、规划能力和泛化优势。我们提出了监督学习与强化学习方法，用于学习状态、目标、选项和动作在两个层级价值函数 $Q(s, g, o; θ)$ 与 $Q(s, g, o, a; θ)$ 中的嵌入表示。最终实验表明，H-UVFAs 具备良好泛化能力，性能优于对应的传统 UVFA。
原文摘要 · Abstract (English)
There have been key advancements to building universal approximators for multi-goal collections of reinforcement learning value functions -- key elements in estimating long-term returns of states in a parameterized manner. We extend this to hierarchical reinforcement learning, using the options framework, by introducing hierarchical universal value function approximators (H-UVFAs). This allows us to leverage the added benefits of scaling, planning, and generalization expected in temporal abstraction settings. We develop supervised and reinforcement learning methods for learning embeddings of the states, goals, options, and actions in the two hierarchical value functions: $Q(s, g, o; θ)$ and $Q(s, g, o, a; θ)$. Finally we demonstrate generalization of the HUVFAs and show they outperform corresponding UVFAs.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。