用结构化提示揭示大模型的词元空间拓扑结构
Probing the topology of the space of tokens with structured prompts
- 通过结构化提示提取大模型隐含的词元嵌入空间
- 成功恢复Llemma-7B的词元子空间，验证方法有效性
- 理论证明适用于大模型及非线性自回归过程
本文提出一种通用且灵活的方法，通过结构化提示使大语言模型（LLM）揭示其隐藏的词元输入嵌入，直至同胚意义下。此外，本文为该方法在一般大语言模型上的有效性提供了强有力的数学证明。借助该方法，我们成功恢复了Llemma-7B的词元子空间。研究结果不仅适用于大语言模型，也适用于一般的非线性自回归过程。
原文摘要 · Abstract (English)
This article presents a general and flexible method for prompting a large language model (LLM) to reveal its (hidden) token input embedding up to homeomorphism. Moreover, this article provides strong theoretical justification -- a mathematical proof for generic LLMs -- for why this method should be expected to work. With this method in hand, we demonstrate its effectiveness by recovering the token subspace of Llemma-7B. The results of this paper apply not only to LLMs but also to general nonlinear autoregressive processes.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。