用优化参数的SiLU网络，以恒定宽度逼近平方函数，误差指数级下降。
Approximation with SiLU Networks: Constant Depth and Exponential Rates for Basic Operations
- 通过调整SiLU激活函数的缩放与偏移参数，实现高效逼近
- 逼近平方函数时，参数量随误差呈指数级增长，深度恒定
- 适用于需要高精度逼近的理论研究者或模型设计者
我们提出一种基于SiLU激活函数的神经网络构造方法，其逼近效率高度依赖超参数调优。对于平方函数 $x^2$，在最优设置的偏移量 $a$ 与缩放系数 $β$ 下，仅需两层恒定宽度网络即可达到误差 $\varepsilon$，此时权重规模为 $β^{\pm k}$，其中 $k = \mathcal{O}(\ln(1/\varepsilon))$。通过函数复合，该方法进一步推广至Sobolev空间，在最优超参数下，网络深度保持常数，参数量为 $\mathcal{O}(\varepsilon^{-d/n})$。本工作揭示了网络结构深度与激活函数参数优化之间的权衡关系。
原文摘要 · Abstract (English)
We present SiLU network constructions whose approximation efficiency depends critically on proper hyperparameter tuning. For the square function $x^2$, with optimally chosen shift $a$ and scale $β$, we achieve approximation error $\varepsilon$ using a two-layer network of constant width, where weights scale as $β^{\pm k}$ with $k = \mathcal{O}(\ln(1/\varepsilon))$. We then extend this approach through functional composition to Sobolev spaces, we obtain networks with depth $\mathcal{O}(1)$ and $\mathcal{O}(\varepsilon^{-d/n})$ parameters under optimal hyperparameters settings. Our work highlights the trade-off between architectural depth and activation parameter optimization in neural network approximation theory.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。