arXiv:2506.13712math.OCcs.LG2025-06

用拉普拉斯变换分析博弈优化中Lookahead的收敛性,指导超参数调优。

Understanding Lookahead Dynamics Through Laplace Transform

  • 通过高频微分方程与拉普拉斯变换,将离散震荡动态转至频域分析。
  • 提出 $O(γ^2)$ 模型得到更紧的收敛条件,$O(γ)$ 模型提供实用调参指南。
  • 适用于博弈学习中的超参数选择,尤其适合需稳定收敛的场景。

我们提出一种频域框架,用于分析游戏优化中超参数的收敛性,结合高频微分方程(HRDEs)与拉普拉斯变换。聚焦于具有梯度步数 $k$ 和平均系数 $α$ 的Lookahead算法,将双线性博弈中的离散时间振荡动态转换到频域,推导出精确的收敛准则。高精度 $O(γ^2)$-HRDE 模型给出更紧的收敛条件,而一阶 $O(γ)$-HRDE 模型则优先提供可操作的超参数调优建议,而非复杂闭式解。在离散时间设置中的实证验证表明该方法有效,其思路还可扩展至局部线性算子,为博弈学习中的超参数选择提供可扩展框架。

原文摘要 · Abstract (English)

We introduce a frequency-domain framework for convergence analysis of hyperparameters in game optimization, leveraging High-Resolution Differential Equations (HRDEs) and Laplace transforms. Focusing on the Lookahead algorithm--characterized by gradient steps $k$ and averaging coefficient $α$--we transform the discrete-time oscillatory dynamics of bilinear games into the frequency domain to derive precise convergence criteria. Our higher-precision $O(γ^2)$-HRDE models yield tighter criteria, while our first-order $O(γ)$-HRDE models offer practical guidance by prioritizing actionable hyperparameter tuning over complex closed-form solutions. Empirical validation in discrete-time settings demonstrates the effectiveness of our approach, which may further extend to locally linear operators, offering a scalable framework for selecting hyperparameters for learning in games.

优化理论博弈学习超参数

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。