发现Transformer模型具备粒子物理中的规范不变性，揭示了AI与物理的深层数学联系。

Transformer models are gauge invariant: A mathematical connection between AI and particle physics

• 从数学上证明Transformer具有规范不变性，与粒子物理对称性一致
• 指出Transformer默认表示部分消除但未完全去除规范冗余
• 为理解模型内部机制提供新视角，适合关注模型本质的研究者

在粒子物理中，基本力遵循称为规范不变性的对称性，这是任何物理系统数学描述中的冗余。本文展示Transformer架构具有相同性质，并表明Transformer的默认表示仅部分、而非完全移除了规范不变性。

原文摘要 · Abstract (English)

In particle physics, the fundamental forces are subject to symmetries called gauge invariance. It is a redundancy in the mathematical description of any physical system. In this article I will demonstrate that the transformer architecture exhibits the same properties, and show that the default representation of transformers has partially, but not fully removed the gauge invariance.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。