arXiv:2604.20313cs.LGcs.AI2026-04
揭示LoRA对模型输出的影响机制
Formalising the Logit Shift Induced by LoRA: A Technical Note
- 用一阶近似分析LoRA引起的逻辑值变化
- 多层LoRA效果可分解为各层贡献之和
- 适用于研究LoRA机制的AI研究人员
本文首次对低秩自适应（LoRA）引发的逻辑值偏移和事实边际变化进行了首阶形式化。通过在基础模型轨迹上使用一阶Fréchet近似，我们证明多层LoRA的效果可分解为各层贡献的线性求和，以及一个代表层间耦合的高阶余项。
原文摘要 · Abstract (English)
This technical note provides a first-order formalisation of the logit shift and fact-margin change induced by Low-Rank Adaptation (LoRA). Using a first-order Fréchet approximation around the base model trajectory, we show that the multi-layer LoRA effect can be decomposed into a linear summation of layerwise contributions and a higher-order remainder term representing inter-layer coupling.
LoRA模型分析机器学习
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。