通过可学习的各向异性噪声调度，提升扩散模型生成质量与效率。
Variational Trajectory Optimization of Anisotropic Diffusion Schedules
- 用矩阵路径参数化噪声分配，实现跨子空间的灵活噪声控制。
- 在多个数据集上，不同计算成本下均优于基准扩散模型。
- 提出高效反向ODE求解器，支持快速推理与训练优化。
我们提出一种变分框架，用于具有各向异性噪声调度的扩散模型，该调度由矩阵路径 $M_t(θ)$ 参数化，可在不同子空间中分配噪声。框架的核心是轨迹级目标函数，联合训练得分网络并学习 $M_t(θ)$，涵盖多种矩阵型噪声调度参数化形式。我们进一步推导出对 $θ$ 的得分梯度估计器，实现对 $M_t(θ)$ 调度的高效优化。推理阶段，我们设计了一种可高效实现的反向ODE求解器，是二阶Heun算法的各向异性推广。在CIFAR-10、AFHQv2、FFHQ和ImageNet-64上，我们的方法在所有NFE（非微分方程步数）设置下均一致优于基准EDM模型。代码已开源：https://github.com/lizeyu090312/anisotropic-diffusion-paper。
原文摘要 · Abstract (English)
We introduce a variational framework for diffusion models with anisotropic noise schedules parameterized by a matrix-valued path $M_t(θ)$ that allocates noise across subspaces. Central to our framework is a trajectory-level objective that jointly trains the score network and learns $M_t(θ)$, which encompasses general parameterization classes of matrix-valued noise schedules. We further derive an estimator for the derivative with respect to $θ$ of the score that enables efficient optimization of the $M_t(θ)$ schedule. For inference, we develop an efficiently-implementable reverse-ODE solver that is an anisotropic generalization of the second-order Heun discretization algorithm. Across CIFAR-10, AFHQv2, FFHQ, and ImageNet-64, our method consistently improves upon the baseline EDM model in all NFE regimes. Code is available at https://github.com/lizeyu090312/anisotropic-diffusion-paper.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。