提出链式再生核空间，揭示深度网络的数学本质
Deep Networks are Reproducing Kernel Chains
- 用组合核而非函数构建新框架，保持再生核空间优势
- 证明深度网络函数可等价为链式再生核函数，且在有限数据下每层不超过N个神经元
- 为深度学习提供稀疏优化理论支持，适合研究模型机理者
确定深度神经网络合适的函数空间仍是关键开放问题。浅层网络自然对应再生核巴拿赫空间（RKBS），而深度网络具有独特挑战。本文将RKBS扩展为链式再生核巴拿赫空间（cRKBS），通过组合核而非函数来构建新框架，保留了RKBS的优良性质。我们证明：任意深度神经网络函数均为神经cRKBS函数；反之，定义在有限数据集上的任意神经cRKBS函数均对应一个深度神经网络。该方法为经验风险最小化提供稀疏解，每层所需神经元数不超过$N$，其中$N$为数据点数量。
原文摘要 · Abstract (English)
Identifying an appropriate function space for deep neural networks remains a key open question. While shallow neural networks are naturally associated with Reproducing Kernel Banach Spaces (RKBS), deep networks present unique challenges. In this work, we extend RKBS to chain RKBS (cRKBS), a new framework that composes kernels rather than functions, preserving the desirable properties of RKBS. We prove that any deep neural network function is a neural cRKBS function, and conversely, any neural cRKBS function defined on a finite dataset corresponds to a deep neural network. This approach provides a sparse solution to the empirical risk minimization problem, requiring no more than $N$ neurons per layer, where $N$ is the number of data points.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。