提出新分析方法，证明局部梯度下降在异构数据下可加速收敛。
Local Steps Speed Up Local GD for Heterogeneous Distributed Logistic Regression
- 采用大步长策略，突破传统小步长限制
- 理论证明收敛速度达 O(1/KR)，优于已有结果
- 适合研究分布式优化算法的学者与工程师
我们分析了两种应用于异构可分数据分布式逻辑回归的局部梯度下降变体，证明在执行 K 次局部更新和足够多通信轮次 R 时，收敛速率达到 O(1/KR)。相比之下，现有针对任何问题的局部梯度下降收敛保证至少为 Ω(1/R)，无法体现局部更新的优势。本工作的关键在于证明：当使用远大于 1/K 的步长 η 时，仍能在逻辑回归目标函数上取得进展；而以往分析依赖于 η ≤ 1/K 的条件。
原文摘要 · Abstract (English)
We analyze two variants of Local Gradient Descent applied to distributed logistic regression with heterogeneous, separable data and show convergence at the rate $O(1/KR)$ for $K$ local steps and sufficiently large $R$ communication rounds. In contrast, all existing convergence guarantees for Local GD applied to any problem are at least $Ω(1/R)$, meaning they fail to show the benefit of local updates. The key to our improved guarantee is showing progress on the logistic regression objective when using a large stepsize $η\gg 1/K$, whereas prior analysis depends on $η\leq 1/K$.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。