分析带相关噪声的随机梯度算法在有限样本下的表现

Finite Sample and Large Deviations Analysis of Stochastic Gradient Algorithm with Correlated Noise

• 用扰动李雅普诺夫函数分析算法收敛性
• 给出有限样本下误差上界，适用于相关噪声场景
• 结合大偏差理论研究迭代点逃逸时间，适合优化理论研究者

我们分析了采用递减步长的随机梯度算法在有限样本下的后悔值。假设噪声具有相关性，采用扰动李雅普诺夫函数作为系统化分析方法。最后，利用大偏差理论分析了迭代点的逃逸时间。

原文摘要 · Abstract (English)

We analyze the finite sample regret of a decreasing step size stochastic gradient algorithm. We assume correlated noise and use a perturbed Lyapunov function as a systematic approach for the analysis. Finally we analyze the escape time of the iterates using large deviations theory.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。