揭示生成模型中离散与连续方法的权衡，解析噪声去除过程中的误差传播机制。
Discrete vs. Continuous Trade-offs for Generative Models
- 通过随机微分方程建模正向与反向扩散过程，实现高质量数据生成。
- 证明得分估计误差会沿反向过程累积，影响生成质量上限。
- 首次从信息论角度，用变分距离和信息不等式刻画生成性能边界，适合研究者参考。
本文探讨了去噪扩散概率模型（DDPMs）和基于得分的生成模型的理论与实践基础，这些模型利用随机过程和布朗运动来建模复杂数据分布。通过前向与反向扩散过程的随机微分方程定义，逐步加噪与去噪，实现高质量数据生成。通过分析模型性能边界，我们揭示了得分估计误差如何在反向过程中传播，并利用离散吉尔萨诺夫变换、Pinsker不等式及信息处理不等式（DPI），从信息论视角界定了总变差距离的上界。
原文摘要 · Abstract (English)
This work explores the theoretical and practical foundations of denoising diffusion probabilistic models (DDPMs) and score-based generative models, which leverage stochastic processes and Brownian motion to model complex data distributions. These models employ forward and reverse diffusion processes defined through stochastic differential equations (SDEs) to iteratively add and remove noise, enabling high-quality data generation. By analyzing the performance bounds of these models, we demonstrate how score estimation errors propagate through the reverse process and bound the total variation distance using discrete Girsanov transformations, Pinsker's inequality, and the data processing inequality (DPI) for an information theoretic lens.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。