通过粒子模型揭示注意力中归一化如何调控表示演化
Normalization in Attention Dynamics
- 将注意力中的归一化视为球面上粒子的速度调节机制
- 发现Peri-LN在防止表示坍塌和聚类方面表现最优
- 适用于研究Transformer深层结构与归一化设计的读者
我们研究了归一化方案对深度Transformer中标记表示的影响。将它们的演化建模为球面上的相互作用粒子，发现归一化起到速度调节的作用。这一视角统一分析了多种方案——包括Post-LN、Pre-LN、Mix-LN、Peri-LN、nGPT——揭示了它们如何影响聚类动态和表示坍塌。该框架阐明了不同方案如何塑造各层的标记表示，并提供了比较它们的理论基础，识别出Peri-LN是一种特别有效的选择。
原文摘要 · Abstract (English)
We study the effect of normalization schemes on token representations in deep transformers. Modeling their evolution as interacting particles on the sphere, we show that normalization acts as a form of speed regulation. This perspective enables a unified analysis of several schemes -- including Post-LN, Pre-LN, Mix-LN, Peri-LN, nGPT -- revealing how they influence clustering dynamics and representation collapse. Our framework clarifies how different schemes shape token representations across layers and provides a principled basis for comparing them, identifying Peri-LN as a particularly effective choice.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。