arXiv:2512.24552cs.CVmath.OC2025-12
提出一种高效稳定的二阶优化算法,适合大规模神经网络训练。
OCP-GN: A Scalable Second-order Optimizer for Stochastic Optimization
- 基于最优控制原理设计新算法,计算复杂度仅O(d)
- 在多个基准测试中表现显著优于现有方法
- 适合需要高效收敛的大型模型训练场景
本文提出一种基于最优控制原理(OCP)的新型二阶优化算法,适用于神经网络训练中的大规模优化问题。该算法具有O(d)的计算复杂度和强鲁棒性。在多个基准测试上的大量实验表明,所提方法表现出显著优势。
原文摘要 · Abstract (English)
This paper proposes a novel second-order optimization algorithm based on the Optimal Control Principle (OCP), applicable to large-scale optimization problems in neural network training. The algorithm has a computational complexity of O(d) and strong robustness. Extensive experiments on multiple benchmarks demonstrate the significant superiority of the proposed method.
优化算法二阶优化神经网络
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。