提出一种无需状态信息的强化学习算法，直接优化部分可观测环境中的策略性能。
Reinforcement Learning in POMDP's via Direct Gradient Ascent
- 基于梯度的直接优化方法，仅需一条轨迹样本。
- 使用单个参数β控制偏差-方差权衡，无需了解隐藏状态。
- 可配合共轭梯度法寻找平均奖励局部最优，理论收敛性已证明。
本文探讨了在受控部分可观测马尔可夫决策过程（POMDP）中，基于梯度的方法直接优化策略性能的理论与实验。我们提出GPOMDP，一种类似REINFORCE的算法，用于估计平均奖励关于随机策略参数的梯度近似值。该算法主要优势包括：仅需单一样本路径、仅需一个自由参数β∈[0,1)，其具有偏差-方差权衡的自然解释，且无需任何关于底层状态的知识。我们证明了GPOMDP的收敛性，并展示了如何利用其梯度估计在共轭梯度法中寻找平均奖励的局部最优解。
原文摘要 · Abstract (English)
This paper discusses theoretical and experimental aspects of gradient-based approaches to the direct optimization of policy performance in controlled POMDPs. We introduce GPOMDP, a REINFORCE-like algorithm for estimating an approximation to the gradient of the average reward as a function of the parameters of a stochastic policy. The algorithm's chief advantages are that it requires only a single sample path of the underlying Markov chain, it uses only one free parameter $β\in [0,1)$, which has a natural interpretation in terms of bias-variance trade-off, and it requires no knowledge of the underlying state. We prove convergence of GPOMDP and show how the gradient estimates produced by GPOMDP can be used in a conjugate-gradient procedure to find local optima of the average reward.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。