用空间填充曲线解决几何数据无全局顺序问题，提出螺旋状Transformer模型

Space filling positionality and the Spiroformer

• 让注意力头沿空间填充曲线分布，适应无序几何数据
• 在2-球面上实现螺旋式位置编码，支持非网格结构输入
• 适合处理点云、球面数据等几何深度学习任务

Transformer 在序列数据上表现优异。将 Transformer 模型推广到几何领域（如流形）时，面临缺乏全局顺序的问题。本文提出一种解决方案：让注意力头遵循空间填充曲线。以首个实验为例，提出 Spiroformer，一种在 2-球面上沿极坐标螺旋分布的 Transformer 模型。

原文摘要 · Abstract (English)

Transformers excel when dealing with sequential data. Generalizing transformer models to geometric domains, such as manifolds, we encounter the problem of not having a well-defined global order. We propose a solution with attention heads following a space-filling curve. As a first experimental example, we present the Spiroformer, a transformer that follows a polar spiral on the $2$-sphere.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。