从语言模型头与softmax的联合结构出发，推导出更新几何，提升稳定性。
Toward a First-Principles Update Geometry for the Language-Model Head
- 将语言模型头与softmax视为整体，基于希尔伯特投影距离推导更新几何。
- 在‖h‖₂≤H约束下，最大更新量为H乘以令牌行间欧氏直径。
- 通过控制直径并最大化最小行间距，实现近似等距分布，适合优化训练稳定性的研究者。
我们研究语言模型头与softmax作为一个整体模块，从它们的组合中推导出更新几何，而非孤立地从权重矩阵出发。在希尔伯特投影距离下，当‖h‖₂≤H时，更新带来的最大变化为H × maxᵢ<ⱼ ‖sᵢ−sⱼ‖₂，即令牌行间的欧氏直径乘以H。受Muon的奇异值调节启发，我们提出在限制该直径的前提下最大化最小行间距，当V≫d时，这转化为一个近似等距问题。
原文摘要 · Abstract (English)
We study the language-model head and softmax as a single module, deriving an update geometry from their composition rather than from the weight matrix in isolation. Under Hilbert's projective distance, the maximum change caused by an update $S$ over $\left|\left|{h}\right|\right|_2\le H$ is $H\max_{i<j}\left|\left|{s_i-s_j}\right|\right|_2$, which is $H$ times the Euclidean diameter of its token rows. Motivated by Muon's singular-value conditioning, we propose maximizing the smallest row separation while constraining this diameter, producing an approximate-equidistance problem when $V\gg d$.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。