证明深度神经网络在无限宽时趋近高斯分布，给出量化误差界。

Universality in Deep Neural Networks: An approach via the Lindeberg exchange principle

• 基于林德伯格交换原理，逐层用高斯权重替换原始权重。
• 在激活函数满足正则性条件下，给出2-Wasserstein距离的定量上界。
• 为深层网络泛化性提供理论依据，适合研究理论深度学习的人。

我们研究了具有通用权重的全连接深度神经网络在无限宽度极限下的行为，在激活函数满足适当正则性假设下，证明了网络与其无限宽度高斯极限之间2-Wasserstein距离的定量上界。核心工具是针对深度神经网络的林德伯格原理，通过逐层将各层权重替换为高斯随机变量，实现逼近。该结果为深层网络的统计行为提供了严格理论支撑。

原文摘要 · Abstract (English)

We consider the infinite-width limit of a fully connected deep neural network with general weights, and we prove quantitative general bounds on the $2$-Wasserstein distance between the network and its infinite-width Gaussian limit, under appropriate regularity assumptions on the activation function. Our main tool is a Lindeberg principle for Deep Neural Networks, which we use to successively replace the weights on each layer by Gaussian random variables.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。