用张量补全理论解释语言模型的幻觉与泛化现象

`Generalization is hallucination' through the lens of tensor completions

• 引入张量补全框架分析语言模型的泛化机制
• 揭示幻觉本质是张量重构过程中的不合理填补
• 适合对模型内在机理感兴趣的研究人员

本文简短地提出张量补全及其相关伪影（artifacts）作为理解语言模型中某些类型幻觉与泛化的有用理论框架。通过张量分解的视角，我们表明模型在未见数据上的生成行为可被建模为缺失值的补全过程，而幻觉正是这种补全在低秩结构下的不恰当延伸。该框架为分析语言模型的泛化能力与不可靠输出提供了新的理论视角。

原文摘要 · Abstract (English)

In this short position paper, we introduce tensor completions and artifacts and make the case that they are a useful theoretical framework for understanding certain types of hallucinations and generalizations in language models.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。