arXiv:2605.06741cs.LG2026-05
为信念空间学习率找出可证明的上限公式。
A Closed-Form Upper Bound for Admissible Learning-Rate Steps in Belief-Space Dynamics
- 基于概率单纯形投影,用自然KL几何推导学习率上限。
- 上界是精确公式,非经验调参,保证更新过程收缩性。
- 适合研究优化收敛性或严谨设计算法的研究者。
学习率通常被视为超参数。本文提出一种局部信念空间计算:当更新被建模为在概率单纯形上的投影前向步时,可接受性意味着在自然KL/Bregman几何下的收缩性。在此模型下,可接受步长的上界不再是调参口号,而是一个精确公式。
原文摘要 · Abstract (English)
Learning-rate steps are usually treated as hyperparameters. This paper isolates a local beliefspace calculation: when an update is modeled as a projected forward step on the probability simplex, admissibility means contractivity in the natural KL/Bregman geometry. Under this model, the upper bound of an admissible step is not a tuning slogan but a formula.
优化理论学习率信念空间
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。