动态修正模型内部表示，提升大模型多步推理能力
Auto-Patching: Enhancing Multi-Hop Reasoning in Language Models
- 通过学习分类器选择性修改推理过程中的隐藏状态
- 在MuSiQue数据集上解题率从18.45%提升至23.63%
- 适合研究复杂推理与模型可解释性的研究人员
多跳问题仍难以解决大型语言模型（LLMs），因其在多个推理步骤间难以关联信息。我们提出Auto-Patch，一种在推理过程中动态修补隐藏状态的新方法，以增强LLM的多跳推理能力。基于PatchScopes框架，Auto-Patch使用学习到的分类器有选择地修改内部表示。在MuSiQue数据集上的评估显示，Auto-Patch将解题率从基线的18.45%提升至23.63±0.7%（3次运行），缩小了与Chain-of-Thought提示方法（27.44%）之间的差距。结果表明，动态隐藏状态干预在提升复杂推理能力方面具有潜力。
原文摘要 · Abstract (English)
Multi-hop questions still stump large language models (LLMs), which struggle to link information across multiple reasoning steps. We introduce Auto-Patch, a novel method that dynamically patches hidden states during inference to enhance multi-hop reasoning in LLMs. Building on the PatchScopes framework, Auto-Patch selectively modifies internal representations using a learned classifier. Evaluated on the MuSiQue dataset, Auto-Patch improves the solve rate from 18.45\% (baseline) to 23.63~$\pm$~0.7\% (3 runs), narrowing the gap to Chain-of-Thought prompting (27.44\%). Our results highlight the potential of dynamic hidden state interventions for advancing complex reasoning in LLMs.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。