用智能调度策略提升强化学习的数据利用效率。
Adaptive Data Exploitation in Deep Reinforcement Learning
- 基于多臂赌博机动态分配不同阶段的数据使用量
- 在多个基准上实现更高性能与更低计算开销
- 适合追求高效训练的RL研究者和工程师
我们提出ADEPT：自适应数据利用框架，旨在提升深度强化学习（RL）中的数据效率与泛化能力。ADEPT通过多臂赌博机算法，在不同学习阶段自适应地管理采样数据的使用，优化数据利用率并缓解过拟合问题。该方法显著降低计算开销，并加速多种主流RL算法的训练过程。我们在Procgen、MiniGrid和PyBullet等基准上进行了大量仿真测试，结果表明ADEPT在保持优异性能的同时具备出色的计算效率，为数据高效的强化学习提供了实用解决方案。代码已公开于https://github.com/yuanmingqi/ADEPT。
原文摘要 · Abstract (English)
We introduce ADEPT: Adaptive Data ExPloiTation, a simple yet powerful framework to enhance the **data efficiency** and **generalization** in deep reinforcement learning (RL). Specifically, ADEPT adaptively manages the use of sampled data across different learning stages via multi-armed bandit (MAB) algorithms, optimizing data utilization while mitigating overfitting. Moreover, ADEPT can significantly reduce the computational overhead and accelerate a wide range of RL algorithms. We test ADEPT on benchmarks including Procgen, MiniGrid, and PyBullet. Extensive simulation demonstrates that ADEPT can achieve superior performance with remarkable computational efficiency, offering a practical solution to data-efficient RL. Our code is available at https://github.com/yuanmingqi/ADEPT.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。