用ReLU、Softplus等函数构造了C[0,1]空间的Schauder基，首次证明其存在性并给出逼近误差界。
Schauder Bases for $C[0, 1]$ Using ReLU, Softplus and Two Sigmoidal Functions
- 基于ReLU、Softplus及它们的sigmoidal变体构造Schauder基
- 提出ReLU基的逼近误差为O(1/n)，验证了逼近性能
- 揭示了ReLU有限组合无法表示多元函数的局限性
本文构造了C[0,1]空间的四个Schauder基：一个使用ReLU函数，一个使用Softplus函数，另两个使用ReLU和Softplus的sigmoidal版本。这是首次证明这些函数可构成该空间的基，改进了它们的通用逼近性质。我们还基于ReLU基给出了O(1/n)的逼近误差界，并证明了仅用有限个ReLU函数组合无法构造多元函数。
原文摘要 · Abstract (English)
We construct four Schauder bases for the space $C[0,1]$, one using ReLU functions, another using Softplus functions, and two more using sigmoidal versions of the ReLU and Softplus functions. This establishes the existence of a basis using these functions for the first time, and improves on the universal approximation property associated with them. We also show an $O(\frac{1}{n})$ approximation bound based on our ReLU basis, and a negative result on constructing multivariate functions using finite combinations of ReLU functions.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。