将强化学习与模仿学习结合，提升大模型微调效率。
A Note on Hybrid Online Reinforcement and Imitation Learning for LLMs: Formulations and Algorithms
- 用联合目标函数分解出可计算的密集梯度和稀疏梯度。
- 密集梯度支持逐标记优化，稀疏梯度用于长序列奖励学习。
- 适合需要高效训练且兼顾行为模仿与任务奖励的场景。
我们提出一个统一的大语言模型微调框架，融合模仿学习与强化学习。通过分析包含轨迹级KL散度与任务奖励的复合目标函数梯度，推导出两个自然分量：(1) 可解析计算的密集梯度，用于标记级模仿；(2) 基于蒙特卡洛估计的稀疏梯度，用于长程奖励优化。密集梯度具备闭式对数几率公式，支持高效的GPU实现。
原文摘要 · Abstract (English)
We present a unified framework for Large Language Model (LLM) fine-tuning that integrates Imitation Learning and Reinforcement Learning. By analyzing the gradient of a composite objective combining trajectory-level KL divergence with task rewards, we derive a natural decomposition into two components: (1) an analytically computable Dense Gradient for token-level imitation, and (2) a Monte Carlo estimated Sparse Gradient for long-horizon reward optimization. The Dense Gradient admits a closed-form logit-level formula, enabling efficient GPU implementation.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。