arXiv:2605.06741cs.LG2026-05

为信念空间学习率找出可证明的上限公式。

A Closed-Form Upper Bound for Admissible Learning-Rate Steps in Belief-Space Dynamics

  • 基于概率单纯形投影,用自然KL几何推导学习率上限。
  • 上界是精确公式,非经验调参,保证更新过程收缩性。
  • 适合研究优化收敛性或严谨设计算法的研究者。

学习率通常被视为超参数。本文提出一种局部信念空间计算:当更新被建模为在概率单纯形上的投影前向步时,可接受性意味着在自然KL/Bregman几何下的收缩性。在此模型下,可接受步长的上界不再是调参口号,而是一个精确公式。

原文摘要 · Abstract (English)

Learning-rate steps are usually treated as hyperparameters. This paper isolates a local beliefspace calculation: when an update is modeled as a projected forward step on the probability simplex, admissibility means contractivity in the natural KL/Bregman geometry. Under this model, the upper bound of an admissible step is not a tuning slogan but a formula.

优化理论学习率信念空间

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。