揭示Adam优化器在任意参数下可能无法收敛，挑战了其通用有效性。
On the Convergence of Adam, Revisited
- 通过构造三周期线性函数序列，证明Adam在任意动量参数下平均遗憾有界不为零。
- 结果表明，即使AdamW、RMSProp等变体也存在类似收敛缺陷。
- 适合关注优化器理论边界的研究者，尤其对深度学习训练稳定性有疑问者。
我们证明，对于任意动量衰减参数 $β_1,β_2\in[0,1)$，投影版Adam在在线优化中可能具有非零的平均遗憾。这一结果与Reddi-Kale-Kumar（2018）的结论类似，但放宽了条件 $β_1<\sqrt{β_2}$。我们采用定义在 $[-1,1]$ 上的三周期线性函数序列，斜率分别为 $c,-1,-1$，其中 $c$ 略大于2。该非零平均遗憾现象同样适用于AdamW、RMSProp、NAdam、Adan、AdaMax、Muon等变体，以及Adam在独立同分布条件下的三周期斜率序列情形。
原文摘要 · Abstract (English)
We show that projected Adam for online optimization with arbitrary moment decay parameters $β_1,β_2\in[0,1)$ can have average regret bounded away from zero. A similar result of Reddi-Kale-Kumar from 2018 required $β_1<\sqrt{β_2}$. Similar to their result, we use a three-periodic sequence of linear functions on $[-1,1]$ with slopes $c,-1,-1$, though we use $c$ slightly larger than $2$. This nonzero average regret result extends to Adam variants such as AdamW, RMSProp, NAdam, Adan, AdaMax, Muon, and to an i.i.d. variant of the three-periodic sequence of slopes for Adam.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。