为神经网络建立非线性奇异值分解，揭示隐藏空间距离与输入距离的直接关系。
A Nonlinear Singular Value Theory for Neural Networks
- 将现代神经网络分解为保距映射加线性层，保持输入输出不变。
- 嵌入空间中的距离可直接反映输入空间的距离，支持精准可视化与生成。
- 适用于模型分析、偏差检测与训练鲁棒性评估，适合研究者使用。
最近，Brown 等人 [2025] 为满足特定范数条件的映射（尤其是非线性映射）建立了奇异值分解（SVD）。我们证明，大多数现代神经网络架构均可在不改变输入-输出行为的前提下，采用这种非线性奇异值分解（NLSVD）表示——其结构为一个左可逆的非线性映射后接一个最终的线性层。该左可逆部分具有保距性，因此嵌入空间（最终线性层前的激活值）中的距离可直接对应输入空间中的距离。我们提出一种灵活架构，可在训练时实现显式分解；设计了一种数据驱动算法，用于从训练好的模型中估计该表示；并建立非线性情形下行空间与零空间的数学基础。实证案例展示了该理论在隐空间拉回（可视化与数据生成）、偏差检测以及训练下的成员推断鲁棒性中的应用。这些基础支持了神经网络分析中核心问题的新方法。
原文摘要 · Abstract (English)
Recently Brown et al. [2025] established a singular value decomposition (SVD) for maps (especially nonlinear) satisfying certain norm conditions. We prove that most modern neural architectures admit this nonlinear SVD (NLSVD) representation---with no change in input--output behavior---and enumerate the classes covered. In this factorization the network is a left-invertible nonlinear map followed by a final linear layer. Moreover, the left-invertible factor is norm-preserving, so distances in the embedding (activations before the final linear layer) calibrate directly to distances in input space. We introduce a flexible architecture that yields an explicit decomposition at training time, a data-driven algorithm for estimating the representation from trained models, and the mathematical foundations for nonlinear analogues of row and null spaces in neural networks. Empirical case studies illustrate uses of the theory for latent-space pullback (visualization and data generation), bias detection, and membership-inference robustness under training. Altogether, these foundations support new approaches to core problems in neural-network analysis.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。