提出高效扩散模型采样算法，采样误差可指数级降低。
High-accuracy sampling for diffusion models and log-concave distributions
- 基于高精度得分估计，实现亚对数步数采样。
- 在低维数据下，复杂度仅随误差对数增长。
- 首次实现对一般对数凹分布的快速采样，适合高维生成任务。
我们提出了针对扩散模型采样的算法，在获得 $\widetilde O(δ)$ 精度得分估计（$L^2$ 范数）的前提下，可在 $\mathrm{polylog}(1/δ)$ 步内达到 $δ$-误差，相较以往结果实现指数级提升。在最小数据假设下，复杂度为 $\widetilde O(d_\star \mathrm{polylog}(1/δ))$，其中 $d_\star$ 为数据内在维度。在非均匀 $L$-利普希茨条件下，复杂度进一步降至 $\widetilde O(L \mathrm{polylog}(1/δ))$。该方法还首次实现了仅依赖梯度评估的、$\mathrm{polylog}(1/δ)$ 复杂度的通用对数凹分布采样器。
原文摘要 · Abstract (English)
We present algorithms for diffusion model sampling which obtain $δ$-error in $\mathrm{polylog}(1/δ)$ steps, given access to $\widetilde O(δ)$-accurate score estimates in $L^2$. This is an exponential improvement over all previous results. Specifically, under minimal data assumptions, the complexity is $\widetilde O(d_\star \mathrm{polylog}(1/δ))$ where $d_\star$ is the intrinsic dimension of the data. Further, under a non-uniform $L$-Lipschitz condition, the complexity reduces to $\widetilde O(L \mathrm{polylog}(1/δ))$. Our approach also yields the first $\mathrm{polylog}(1/δ)$ complexity sampler for general log-concave distributions using only gradient evaluations.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。