用物理有效场论解释扩散模型去噪过程中的信息传播机制。
Information Spreading in Diffusion Models from Effective Field Theory
- 将有效场论引入卷积扩散模型，利用局部性诱导偏见建模去噪动态。
- 在MNIST和简单模型上验证，两点间互信息增长符合布朗运动有效理论预测。
- 为理解扩散模型内部信息流动提供新视角，适合研究生成模型机理的学者。
我们研究具有卷积结构的得分匹配扩散模型。我们认为局部性归纳偏置意味着物理学中的有效场论工具可被用于描述去噪动力学。首先在允许解析描述的简单玩具模型上应用该形式化方法，随后扩展至MNIST数据集。结果表明，在两种情况下，两点间的互信息增长均符合一个简单的布朗运动有效场论所预测的规律。
原文摘要 · Abstract (English)
We study score-matching diffusion models with a convolutional architecture. We argue that the inductive bias of locality means that the machinery of effective field theory from physics can be usefully applied to describe the denoising dynamics. We apply this formalism first to a simple toy example which permits an analytical description, and thereafter to MNIST, and show that in both cases, the mutual information between two points grows in a manner predicted by a simple effective field theory of Brownian motion.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。