分析随机权重的两层ReLU网络的神经正切核与费舍尔信息矩阵关系。

Neural Tangent Kernels and Fisher Information Matrices for Simple ReLU Networks with Random Hidden Weights

• 揭示神经正切核与费舍尔信息矩阵的线性变换关系。
• 给出神经正切核的谱分解及主要特征函数的显式形式。
• 提供两层网络函数的近似公式，适用于理论分析。

本文研究了具有随机隐藏权重的两层ReLU网络的费舍尔信息矩阵与神经正切核（NTK）。通过理论推导，揭示了二者之间的线性变换关系，并得到了神经正切核的谱分解形式，明确给出了主导特征值对应的特征函数。此外，还推导出由两层神经网络表示的函数的近似表达式，为理解此类网络在初始化阶段的动力学行为提供了数学基础。结果有助于分析深度学习模型的泛化能力与优化特性。

原文摘要 · Abstract (English)

Fisher information matrices and neural tangent kernels (NTK) for 2-layer ReLU networks with random hidden weight are argued. We discuss the relation between both notions as a linear transformation and show that spectral decomposition of NTK with concrete forms of eigenfunctions with major eigenvalues. We also obtain an approximation formula of the functions presented by the 2-layer neural networks.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。