用三角分布扰动改进机器人策略，提升训练稳定性与成功率。
Harnessing Bounded-Support Evolution Strategies for Policy Refinement
- 采用有界三角扰动和排序差分估计，实现无梯度稳定更新。
- 在机械臂任务中相对PPO提升26.5%成功率，显著降低方差。
- 适合需要后期策略优化的机器人控制场景，计算轻量易部署。
使用策略梯度代理改进具备能力的机器人策略常受噪声大、信号弱梯度影响。本文重新审视进化策略（ES）并引入有界对称三角扰动进行局部探索，适用于策略精炼。提出三角分布进化策略（TD-ES），结合有界三角噪声与中心秩有限差分估计器，实现稳定、可并行、无梯度更新。采用两阶段流程：先用PPO预训练，再以TD-ES精炼，既保留早期样本效率，又实现后期稳健提升。在一系列机器人抓取任务中，TD-ES相较PPO成功率达26.5%提升，方差大幅降低，为可靠策略精炼提供简单、低算力路径。
原文摘要 · Abstract (English)
Improving competent robot policies with on-policy RL is often hampered by noisy, low-signal gradients. We revisit Evolution Strategies (ES) as a policy-gradient proxy and localize exploration with bounded, antithetic triangular perturbations, suitable for policy refinement. We propose Triangular-Distribution ES (TD-ES) which pairs bounded triangular noise with a centered-rank finite-difference estimator to deliver stable, parallelizable, gradient-free updates. In a two-stage pipeline - PPO pretraining followed by TD-ES refinement - this preserves early sample efficiency while enabling robust late-stage gains. Across a suite of robotic manipulation tasks, TD-ES raises success rates by 26.5% relative to PPO and greatly reduces variance, offering a simple, compute-light path to reliable refinement.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。