揭示神经网络损失面中的低损通道结构，改进贝叶斯神经网络采样方法。
Paths and Ambient Spaces in Neural Loss Landscapes
- 直接将损失隧道嵌入损失曲面，可视化其几何结构。
- 发现隧道长度与路径平滑性存在非直观关系，挑战传统认知。
- 为贝叶斯神经网络设计更自然的先验，提升子空间推断效果。
理解神经网络损失曲面的结构，尤其是低损失隧道的出现，对推动神经网络理论与实践至关重要。本文提出一种新方法，可直接将损失隧道嵌入神经网络的损失景观中。通过探索这些损失隧道的性质，我们获得了关于其长度与结构的新见解，并澄清了一些常见误解。随后，我们将该方法应用于贝叶斯神经网络，识别出子空间推断中的陷阱，并提出一种更自然的先验分布，以更好引导采样过程。
原文摘要 · Abstract (English)
Understanding the structure of neural network loss surfaces, particularly the emergence of low-loss tunnels, is critical for advancing neural network theory and practice. In this paper, we propose a novel approach to directly embed loss tunnels into the loss landscape of neural networks. Exploring the properties of these loss tunnels offers new insights into their length and structure and sheds light on some common misconceptions. We then apply our approach to Bayesian neural networks, where we improve subspace inference by identifying pitfalls and proposing a more natural prior that better guides the sampling procedure.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。