证明了任意分段线性函数都能用简单函数求和表示,为高效ReLU网络提供新思路。
Triangulating PL functions and the existence of efficient ReLU DNNs
- 通过构造高维同调类的三角剖分,将分段线性函数分解为简单函数之和。
- 首次给出通用ReLU神经网络同时计算所有有界复杂度分段线性函数的简洁证明。
- 适合研究神经网络逼近理论与深度学习数学基础的研究者阅读。
我们证明,每个定义在 $R^d$ 到 $R$ 的具有紧支集的多面体 $P$ 上的分段线性函数 $f$,都可以表示为所谓‘单纯形函数’的和。这种表示来源于 $R^{d+1}$ 中由 $P$ 和 $f$ 图像所界定的相对同调类的 1 次三角剖分,为存在可同时计算所有有界复杂度分段线性函数的高效通用 ReLU 神经网络提供了简明的初等证明。
原文摘要 · Abstract (English)
We show that every piecewise linear function $f:R^d \to R$ with compact support a polyhedron $P$ has a representation as a sum of so-called `simplex functions'. Such representations arise from degree 1 triangulations of the relative homology class (in $R^{d+1}$) bounded by $P$ and the graph of $f$, and give a short elementary proof of the existence of efficient universal ReLU neural networks that simultaneously compute all such functions $f$ of bounded complexity.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。