首次证明无限精度的单层注意力模型在两类任务上的理论下界。

Lower bounds on transformers with infinite precision

• 用VC维方法分析单层softmax Transformer的理论极限
• 在函数复合和SUM₂任务上建立首个理论下界
• 为大模型可计算性提供基础理论支撑，适合研究者参考

本文利用VC维技术，首次证明了在无限精度条件下，单层softmax Transformer在两类任务上的理论下界。这两类任务分别是Peng、Narayanan与Papadimitriou研究的函数复合任务，以及Sanford、Hsu与Telgarsky提出的SUM₂任务。该结果揭示了此类模型在特定计算任务中的固有局限性，为理解Transformer的表达能力提供了关键理论依据。

原文摘要 · Abstract (English)

In this note, we use the VC dimension technique to prove the first lower bound against one-layer softmax transformers with infinite precision. We do so for two tasks: function composition, considered by Peng, Narayanan, and Papadimitriou, and the SUM$_2$ task, considered by Sanford, Hsu, and Telgarsky.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。