无需反向传播即可微调扩散模型，实现奖励导向分布优化。
Iterative Tilting for Diffusion Fine-Tuning
- 将大奖励倾斜分解为多次小倾斜，每步用一阶泰勒展开计算梯度。
- 仅需前向评估奖励函数，避免在采样链上反向传播。
- 适用于无梯度场景，适合强化学习中的策略优化任务。
我们提出迭代倾斜（iterative tilting），一种无需梯度的扩散模型微调方法，用于将模型推向奖励倾斜分布。该方法将大的奖励倾斜项 $\ ext{exp}(λr)$ 分解为 $N$ 次连续的小倾斜，每次均可通过一阶泰勒展开获得可处理的得分更新。该过程仅需对奖励函数进行前向评估，避免了在采样链上的反向传播。我们在二维高斯混合模型与线性奖励的设定下进行了验证，此时精确的倾斜分布具有闭式解。
原文摘要 · Abstract (English)
We introduce iterative tilting, a gradient-free method for fine-tuning diffusion models toward reward-tilted distributions. The method decomposes a large reward tilt $\exp(λr)$ into $N$ sequential smaller tilts, each admitting a tractable score update via first-order Taylor expansion. This requires only forward evaluations of the reward function and avoids backpropagating through sampling chains. We validate on a two-dimensional Gaussian mixture with linear reward, where the exact tilted distribution is available in closed form.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。