提出完全离线的强化学习方法，实现无需在线交互的超参调优与性能评估。
Fully Offline Reinforcement Learning
- 基于贝叶斯模型，通过预测不确定性估计策略价值
- 在多种算法上实现完全离线超参选择，避免在线试错
- 理论证明达到最优参数率，适合安全高效部署场景
离线强化学习（ORL）承诺安全且样本高效的部署，但现有方法依赖未记录的在线交互进行超参调优，且缺乏可靠的初始在线性能离线估计。我们提出SOReL，一种完全离线的贝叶斯模型化强化学习方法，通过学习动态模型后验，利用预测不确定性估计策略价值，并实现完整的离线超参选择。我们进一步提出TOReL，将此调优框架扩展至任意模型无关和模型相关的ORL算法。我们提供了一个后悔率分析，表明在标准正则条件下，贝叶斯离线强化学习可达到最小最大最优参数率。我们的方法共同建立了一个实用且理论严谨的完全离线强化学习框架。
原文摘要 · Abstract (English)
Offline RL (ORL) promises safe and sample-efficient deployment but existing methods rely on undocumented online interactions for hyperparameter tuning and lack reliable fully offline estimates of initial online performance. We introduce SOReL, a fully offline Bayesian model-based RL method that learns a posterior over dynamics, estimates policy value via predictive uncertainty, and enables complete offline hyperparameter selection. We further propose TOReL, which extends this tuning framework to arbitrary model-free and model-based ORL algorithms. We provide a regret analysis showing that Bayesian offline RL achieves the minimax-optimal parametric rate under standard regularity conditions. Together, our methods establish a practical and theoretically grounded framework for fully offline RL.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。