用热力学方法解释模型延迟泛化现象。

How to explain grokking

• 将梯度下降建模为布朗运动，模拟学习过程。
• 揭示延迟泛化背后的能量势阱机制。
• 适合对深度学习动力学感兴趣的读者。

通过将沟壑现象（delayed generalization）建模为随机梯度朗之万动力学（Brownian motion），并应用热力学思想，本文提供了对学习过程中延迟泛化的解释。该方法揭示了模型在训练后期才实现泛化的物理机制，表明其本质是系统从高能态向低能态演化的过程。通过类比热力学中的自由能降低，论文解释了为何模型在初期表现不佳但后期突然性能跃升。这一视角为理解深度神经网络的非直观行为提供了新思路。

原文摘要 · Abstract (English)

Explanation of grokking (delayed generalization) in learning is given by modeling grokking by the stochastic gradient Langevin dynamics (Brownian motion) and applying the ideas of thermodynamics.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。