揭示视觉Transformer中位置编码如何影响空间推理的几何机制
Geometry without Position? When Positional Embeddings Help and Hurt Spatial Reasoning
- 从几何角度分析位置编码在视觉变换器中的作用
- 发现一致的位置编码对多视角几何一致性至关重要
- 适合关注模型空间理解与可解释性的研究者
本文从几何视角重新审视视觉变换器（ViT）中位置编码（PEs）的作用。我们证明，位置编码不仅是标记令牌的索引，更有效充当了塑造表示空间结构的几何先验。通过引入基于令牌级别的诊断方法，我们测量了多视角几何一致性如何依赖于一致的位置编码。在14个基础视觉变换器模型上的大量实验揭示了位置编码对多视角几何和空间推理的影响。研究结果阐明了位置编码作为因果机制，主导着视觉变换器表示中的空间结构。代码已公开于 https://github.com/shijianjian/vit-geometry-probes。
原文摘要 · Abstract (English)
This paper revisits the role of positional embeddings (PEs) within vision transformers (ViTs) from a geometric perspective. We show that PEs are not mere token indices but effectively function as geometric priors that shape the spatial structure of the representation. We introduce token-level diagnostics that measure how multi-view geometric consistency in ViT representation depends on consitent PEs. Through extensive experiments on 14 foundation ViT models, we reveal how PEs influence multi-view geometry and spatial reasoning. Our findings clarify the role of PEs as a causal mechanism that governs spatial structure in ViT representations. Our code is provided in https://github.com/shijianjian/vit-geometry-probes
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。