XSA通过排除自注意力中的自身信息，提升长序列建模效果。
Exclusive Self Attention
- XSA在自注意力中排除自身值向量信息，增强上下文建模。
- 在2.7B参数模型上优于标准自注意力，序列越长优势越明显。
- 适合需要长距离依赖建模的自然语言任务。
我们提出一种简单的自注意力改进方法——排斥自注意力（Exclusive Self Attention, XSA），可提升Transformer在序列建模任务上的性能。核心思想是限制注意力仅捕捉与当前标记值向量正交的信息（即排除自身位置的信息），从而促进更优的上下文建模。在标准语言建模任务上评估表明，XSA在从较小到2.7B参数的多种模型规模下均优于标准自注意力（SA），且随着序列长度增加，性能提升愈发显著。
原文摘要 · Abstract (English)
We introduce exclusive self attention (XSA), a simple modification of self attention (SA) that improves Transformer's sequence modeling performance. The key idea is to constrain attention to capture only information orthogonal to the token's own value vector (thus excluding information of self position), encouraging better context modeling. Evaluated on the standard language modeling task, XSA consistently outperforms SA across model sizes up to 2.7B parameters and shows increasingly larger gains as sequence length grows.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。