揭示大模型隐状态的语义几何结构，解释离散词表带来的语义失真。
Latent Semantic Manifolds in Large Language Models
- 将语言模型隐藏状态视为带费雪信息度量的潜在语义流形上的点。
- 发现语义失真与词汇量呈率失真下界关系，且失真随体积线性增长。
- 适用于理解模型压缩、解码策略及规模定律的几何基础研究者。
大型语言模型（LLMs）在连续向量空间中进行内部计算，却输出离散标记——这一根本性不匹配的几何后果尚不清楚。我们构建了一个数学框架，将LLM隐藏状态解释为具有费雪信息度量的潜在语义流形上的点，其中标记对应于划分该流形的维诺区域。我们定义了表达能力差距，作为词汇离散化导致的语义失真的几何度量，并证明了两个定理：任何有限词汇集下的失真率失真下界，以及通过共面积公式得出的表达能力差距的线性体积标度律。我们在六种Transformer架构（参数量124M-1.5B）上验证了这些预测，确认了通用的沙漏型内在维度特征、平滑曲率结构，以及表达能力差距的线性标度关系（斜率0.87–1.12，R² > 0.985）。各模型间的边界邻近表示分布揭示了一个持久存在的硬核结构，该结构与规模无关，提供了困惑度的几何分解。我们讨论了其对架构设计、模型压缩、解码策略和规模定律的影响。
原文摘要 · Abstract (English)
Large Language Models (LLMs) perform internal computations in continuous vector spaces yet produce discrete tokens -- a fundamental mismatch whose geometric consequences remain poorly understood. We develop a mathematical framework that interprets LLM hidden states as points on a latent semantic manifold: a Riemannian submanifold equipped with the Fisher information metric, where tokens correspond to Voronoi regions partitioning the manifold. We define the expressibility gap, a geometric measure of the semantic distortion from vocabulary discretization, and prove two theorems: a rate-distortion lower bound on distortion for any finite vocabulary, and a linear volume scaling law for the expressibility gap via the coarea formula. We validate these predictions across six transformer architectures (124M-1.5B parameters), confirming universal hourglass intrinsic dimension profiles, smooth curvature structure, and linear gap scaling with slopes 0.87-1.12 (R^2 > 0.985). The margin distribution across models reveals a persistent hard core of boundary-proximal representations invariant to scale, providing a geometric decomposition of perplexity. We discuss implications for architecture design, model compression, decoding strategies, and scaling laws
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。