发现正弦调度在信息几何下最优，解释了为何它在离散扩散模型中表现优异。

The Cosine Schedule is Fisher-Rao-Optimal for Masked Discrete Diffusion Models

• 从信息几何角度推导出最优采样路径的调度方式。
• 理论证明最优调度等价于广泛使用的余弦调度。
• 为扩散模型设计提供数学依据，适合研究生成模型的学者。

本文从诱导概率路径的信息几何角度，研究了离散掩码扩散模型采样时的离散化调度选择问题。具体而言，我们证明了在Fisher-Rao几何下的最优调度恰好对应于广泛应用的余弦调度。该结果为余弦调度的有效性提供了理论支撑，并揭示了其内在几何意义。

原文摘要 · Abstract (English)

In this work, we study the problem of choosing the discretisation schedule for sampling from masked discrete diffusion models in terms of the information geometry of the induced probability path. Specifically, we show that the optimal schedule under the Fisher-Rao geometry recovers the popularly-used cosine schedule.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。