将Adam优化器转化为二阶非局部动力系统，揭示其加速机制。
From Adam to Adam-Like Lagrangians: Second-Order Nonlocal Dynamics
- 用二阶积分微分方程建模Adam，引入惯性与非局部特性。
- 在Rosenbrock测试问题上，连续动力学与离散Adam高度吻合。
- 提出变分视角的Adam类拉格朗日框架，适用于理论分析与新算法设计。
本文通过将Adam视为二阶积分微分动力系统，推导出其加速的连续时间形式。我们通过α-精细极限将该惯性非局部模型与现有的一阶非局部Adam流联系起来，并提供了基于李雅普诺夫的稳定性与收敛性分析。此外，我们提出了一个受Adam启发的非局部拉格朗日形式，从变分角度提供新视角。在Rosenbrock型测试问题上的数值模拟表明，所提动力系统与离散Adam具有良好一致性。
原文摘要 · Abstract (English)
In this paper, we derive an accelerated continuous-time formulation of Adam by modeling it as a second-order integro-differential dynamical system. We relate this inertial nonlocal model to an existing first-order nonlocal Adam flow through an $α$-refinement limit, and we provide Lyapunov-based stability and convergence analyses. We also introduce an Adam-inspired nonlocal Lagrangian formulation, offering a variational viewpoint. Numerical simulations on Rosenbrock-type examples show agreement between the proposed dynamics and discrete Adam.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。