用激活补丁技术解析大模型如何理解地理相对空间

Exploring Geographic Relative Space in Large Language Models through Activation Patching

• 通过激活补丁分析模型对地理相对关系的内部表征
• 发现模型能识别跨区域的空间关系模式
• 适合研究地理信息与AI交互的学者参考

大型语言模型（LLMs）在地理领域的应用日益广泛，但其内部工作机制仍不清晰，这引发了安全整合的担忧。本文通过激活补丁这一新兴可解释性工具，探究了大模型处理相对地理空间的方式。该方法能定位模型中负责地理空间推理的关键神经元路径，揭示其如何编码方位、距离等相对空间概念。研究初步表明，尽管模型未显式学习地理坐标，却能通过上下文推断出区域间的相对位置关系。此工作为理解地理知识在大模型中的隐式表征提供了新视角，有助于提升模型在地理分析任务中的可信度与可控性。

原文摘要 · Abstract (English)

The increased use of Large Language Models (LLMs) in geography raises substantial questions about the safety of integrating these tools across a wide range of processes and analyses, given our very limited understanding of their inner workings. In this extended abstract, we examine how LLMs process relative geographic space using activation patching, an emerging tool for mechanistic interpretability.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。