arXiv:2605.28592cs.LG2026-05
将偏最小二乘法看作线性自注意力，揭示其在神经网络中的潜在机制。
PLS in the Mirror of Self-Attention
- 把PLS视为线性化的自注意力机制
- PLS的降维与特征选择暗示自注意力具维度归一化能力
- 为理解自注意力提供新视角，适合关注模型机制的研究者
本文观察到，将偏最小二乘法（PLS）视为一种线性化的自注意力机制，有助于将其纳入神经网络研究范式。另一方面，PLS在预测变量的降维与选择过程中表现出的特性，表明自注意力机制可能具备一定的维度归一化能力，从而提升学习效果。
原文摘要 · Abstract (English)
This note provides an interesting observation on casting partial least square (PLS) as a linearized self-attention so that PLS may be studied within the neural network paradigm. On the other hand, the dimensionality reduction and selection of predictors in PLS may indicate that self-attention includes certain degree of dimensionality normalization toward improved learning.
自注意力降维机制分析
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。