揭示一维ReLU网络线性区域数量增长规律，解析其表达能力本质。
Complexity of One-Dimensional ReLU DNNs
- 从线性区域视角分析一维ReLU网络的表达能力
- 无限宽下期望线性区域数约等于各层神经元总数之和加1
- 提出自适应稀疏度概念，衡量逼近目标所需最小区域数
我们通过线性区域的角度研究一维ReLU深度神经网络的表达能力。对于随机初始化、全连接的一维ReLU网络（采用He缩放且偏置非零），在无限宽度极限下，我们证明了期望线性区域数为 $\sum_{i = 1}^L n_i + \mathop{o}\left(\sum_{i = 1}^L{n_i}\right) + 1$，其中 $n_\ell$ 表示第 $\ell$ 层隐藏层的神经元数量。此外，我们提出了一个函数自适应的稀疏性概念，用于比较网络实际使用的期望区域数与在固定容差下逼近目标所需的最少区域数。
原文摘要 · Abstract (English)
We study the expressivity of one-dimensional (1D) ReLU deep neural networks through the lens of their linear regions. For randomly initialized, fully connected 1D ReLU networks (He scaling with nonzero bias) in the infinite-width limit, we prove that the expected number of linear regions grows as $\sum_{i = 1}^L n_i + \mathop{o}\left(\sum_{i = 1}^L{n_i}\right) + 1$, where $n_\ell$ denotes the number of neurons in the $\ell$-th hidden layer. We also propose a function-adaptive notion of sparsity that compares the expected regions used by the network to the minimal number needed to approximate a target within a fixed tolerance.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。