研究在低维流形上不连续损失函数下的随机梯度下降行为

Stochastic gradient descent with discontinuity across a manifold

• 通过分析微分方程极限来研究梯度下降在不连续点上的动态
• 揭示了算法在流形间跳跃的数学机制与收敛特性
• 适合研究优化器在非光滑问题中的理论性能的读者

针对在低维流形上不连续的损失函数，本文通过研究其对应的微分方程极限，分析了随机梯度下降的行为。该方法捕捉了梯度在流形边界处的突变特性，揭示了算法在不连续点附近可能产生的跳跃路径及长期收敛趋势。理论分析表明，在满足一定正则性条件下，算法仍能稳定逼近局部最优解，即使损失函数在部分区域不可导。该框架为理解优化器在非光滑目标上的表现提供了新的数学视角。

原文摘要 · Abstract (English)

Stochastic gradient descent for a loss function discontinuous across lower dimensional manifolds is analyzed by studying its differential equation limit.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。