进化策略在持续控制中用回放缓解遗忘问题。
Continual Evolution Strategies in Control Tasks
- 用回放机制存储过往经验以防止遗忘。
- 回放显著提升任务保留效果，还能带来正向迁移。
- 适合需要长期适应新任务的强化学习场景。
我们研究了进化策略（ES）在持续控制任务中的应用，即智能体需在不遗忘旧任务的前提下适应新任务。在顺序的MuJoCo运动任务上，未经改进的ES会出现严重的灾难性遗忘。引入回放机制后，任务记忆显著改善，并能引发正向迁移；但更大的回放预算会降低模型的可塑性。总体结果表明，ES可在控制任务中支持持续适应，而回放是缓解遗忘的有效手段。
原文摘要 · Abstract (English)
We study Evolution Strategies (ES) for continual control, where agents must adapt to changing tasks without forgetting previous ones. On sequential MuJoCo locomotion tasks, naive ES suffers from severe catastrophic forgetting. Replay substantially improves retention and can induce positive transfer, while larger replay budgets reduce plasticity. Overall, these results show that ES can support continual adaptation in control and that replay is an effective mechanism for mitigating forgetting.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。