GPG无需价值网络，用分组蒙特卡洛估计优势，提升强化学习效率。
Group Policy Gradient
- 用分组蒙特卡洛估计替代价值函数，免去训练批评家的开销。
- 在标准基准上表现优于或媲美PPO，且计算资源利用率更高。
- 适合追求高效训练、减少模型复杂度的研究者与工程应用。
我们提出群策略梯度（Group Policy Gradient, GPG），一种适用于一般马尔可夫决策过程的无批评家策略梯度估计器。受基于人类反馈强化学习（RLHF）中GRPO方法成功的启发，GPG以基于分组的蒙特卡洛优势估计替代了学习的价值函数，消除了训练批评家所带来的内存、计算和超参数调优成本，同时保留了PPO的截断目标结构。我们证明了GPG估计器的一致性，分析了偏差-方差权衡，并通过实验证明GPG在标准基准上表现匹配或超越PPO。GPG更高效利用并行模拟，结合无批评家设计，整体计算资源使用效率高于PPO。
原文摘要 · Abstract (English)
We introduce Group Policy Gradient (GPG), a family of critic-free policy-gradient estimators for general MDPs. Inspired by the success of GRPO's approach in Reinforcement Learning from Human Feedback (RLHF), GPG replaces a learned value function with a group-based Monte Carlo advantage estimator, removing the memory, compute, and hyperparameter costs of training a critic while preserving PPO's clipped-objective structure. We prove the consistency of the GPG estimator, analyze the bias-variance tradeoffs, and demonstrate empirically that GPG matches or outperforms PPO on standard benchmarks. GPG makes better use of parallel simulations, which, together with its critic-free design, results in more efficient use of computational resources than PPO.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。