arXiv:2504.04444cs.CLcs.AI2025-04中稿 · ICLR被引 2
发现Transformer中专家路由还依赖位置信息，不只看语义。
On the Spatial Structure of Mixture-of-Experts in Transformers
- 分析表明专家选择不仅看语义，还受位置信息影响。
- 实验证实位置信息对路由决策有显著作用。
- 适合研究MoE架构或模型内部机制的读者。
普遍认为MoE路由器主要依据语义特征进行专家选择。然而，我们的研究挑战了这一观点，通过大量实证分析证明位置标记信息在路由决策中也起着关键作用。我们提供了支持该假设的证据，提出了对观察到行为的现象学解释，并讨论了对基于MoE架构的实际意义。
原文摘要 · Abstract (English)
A common assumption is that MoE routers primarily leverage semantic features for expert selection. However, our study challenges this notion by demonstrating that positional token information also plays a crucial role in routing decisions. Through extensive empirical analysis, we provide evidence supporting this hypothesis, develop a phenomenological explanation of the observed behavior, and discuss practical implications for MoE-based architectures.
MoETransformer路由机制
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。