随机初始化的深层网络在有限维分布上趋近高斯分布，揭示了权重的普适性。
Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights
- 通过水土距离度量，建立深层网络与高斯极限的逼近边界。
- 当层宽按比例增长时，收敛速度可达 n^{-1/6^{L-1} + ε} 阶。
- 适用于分析随机初始化网络的统计行为，适合理论研究者。
我们研究了具有随机初始化权重且具有有限阶矩的深度神经网络的有限维分布（FDDs）。在激活函数为Lipschitz连续的前提下，允许各层宽度以任意相对速率趋于无穷，建立了FDDs与其高斯极限之间在Wasserstein-1范数下的高斯逼近界。在所有层宽与共同尺度参数n成比例、且存在L−1个隐层的特殊情形下，得到收敛速率约为n^{-1/6^{L-1} + ε}，其中ε > 0为任意小正数。
原文摘要 · Abstract (English)
We study the Finite-Dimensional Distributions (FDDs) of deep neural networks with randomly initialized weights that have finite-order moments. Specifically, we establish Gaussian approximation bounds in the Wasserstein-$1$ norm between the FDDs and their Gaussian limit assuming a Lipschitz activation function and allowing the layer widths to grow to infinity at arbitrary relative rates. In the special case where all widths are proportional to a common scale parameter $n$ and there are $L-1$ hidden layers, we obtain convergence rates of order $n^{-({1}/{6})^{L-1} + ε}$, for any $ε> 0$.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。