量化了动量SGD与慢化朗之万扩散的误差，揭示其数学关联。

Error estimates between SGD with momentum and underdamped Langevin diffusion

• 基于1-Wasserstein和总变差距离，建立误差定量分析框架。
• 证明动量SGD在特定条件下逼近慢化朗之万扩散的分布。
• 为优化算法与随机过程的理论联系提供新视角，适合算法设计者参考。

带动量的随机梯度下降是一种流行的随机梯度下降变体，最近被发现与慢化朗之万扩散存在密切关系。本文首次在1-Wasserstein距离和总变差距离下，建立了二者之间的定量误差估计，为理解动量方法的随机动力学本质提供了理论支持。

原文摘要 · Abstract (English)

Stochastic gradient descent with momentum is a popular variant of stochastic gradient descent, which has recently been reported to have a close relationship with the underdamped Langevin diffusion. In this paper, we establish a quantitative error estimate between them in the 1-Wasserstein and total variation distances.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。