用功能锚点实现模型融合，提升知识整合的稳定性和灵活性。
Model Merging with Functional Dual Anchors
- 通过合成输入生成任务特异性梯度，从表示空间而非参数空间融合模型
- 在多个数据集上显著优于传统参数空间合并方法，提升模型性能
- 适合需要高效集成多任务微调模型的研究者和工程团队
模型融合是一种高效的训练后策略，用于整合共享基础模型的多个微调检查点的知识。现有方法在参数空间中操作，通过组合任务向量缓解冲突，但受限于参数不一致问题。我们提出功能双锚点（FDAs），一种建模输入-表示空间的框架。FDAs 是人工构造的输入，其产生的梯度与任务向量对齐，捕捉相对于预训练模型的任务特异性功能变化。该视角连接了联合多任务训练与事后融合，兼具鲁棒性与灵活性。我们进一步提出一种合理的初始化方案，并证明 FDAs 与参数空间模型融合方法互补。全面实验验证了 FDAs 在模型融合中的有效性。
原文摘要 · Abstract (English)
Model merging is an efficient post-training strategy for integrating knowledge from multiple finetuned checkpoints of a shared foundation model. Existing methods operate in the parameter space, combining task vectors to mitigate conflicts, but remain constrained by parameter inconsistencies. We propose Functional Dual Anchors (FDAs), a framework that instead models the input-representation space. FDAs are synthetic inputs whose induced gradients align with task vectors, capturing task-specific functional shifts relative to the pretrained model. This perspective bridges joint multi-task training and post-hoc merging, offering both robustness and flexibility. We further introduce a principled initialization scheme and show that FDAs are complementary to parameter-space model merging. Comprehensive experiments demonstrate the effectiveness of FDAs in model merging.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。