通过调控层谱改善模型训练稳定性，显著降低条件数并提升准确率。
Chebyshev Moment Regularization (CMR): Condition-Number Control with Moment Shaping
- 直接优化层谱，用切比雪夫矩和对数条件代理联合控制谱分布。
- 在15层MLP上，条件数下降约1000倍，测试准确率从10%回升至86%。
- 适用于需要稳定训练的深度网络，尤其适合对抗性训练场景。
我们提出切比雪夫矩正则化（CMR），一种简单且与架构无关的损失函数，可直接优化层谱。CMR通过对数条件代理联合控制谱边界，并利用切比雪夫矩塑造内部谱分布，采用解耦且截断的混合规则以保留任务梯度。我们证明了条件代理严格单调下降、矩梯度有界以及正交不变性。在对抗性“κ-压力”设置下（MNIST，15层MLP），相比原始训练，CMR使平均层条件数降低约10³（从≈3.9×10³降至≈3.4，仅5个周期），提升平均梯度幅值，并恢复测试准确率（≈10% → ≈86%）。这些结果支持“优化驱动的谱预处理”：直接引导模型进入良好条件区域，实现稳定、高精度学习。
原文摘要 · Abstract (English)
We introduce \textbf{Chebyshev Moment Regularization (CMR)}, a simple, architecture-agnostic loss that directly optimizes layer spectra. CMR jointly controls spectral edges via a log-condition proxy and shapes the interior via Chebyshev moments, with a decoupled, capped mixing rule that preserves task gradients. We prove strictly monotone descent for the condition proxy, bounded moment gradients, and orthogonal invariance. In an adversarial ``$κ$-stress'' setting (MNIST, 15-layer MLP), \emph{compared to vanilla training}, CMR reduces mean layer condition numbers by $\sim\!10^3$ (from $\approx3.9\!\times\!10^3$ to $\approx3.4$ in 5 epochs), increases average gradient magnitude, and restores test accuracy ( $\approx10\%\!\to\!\approx86\%$ ). These results support \textbf{optimization-driven spectral preconditioning}: directly steering models toward well-conditioned regimes for stable, accurate learning.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。