arXiv:2507.23311cs.CV2025-07
模型合并会快速丢失任务专属知识，影响持续学习效果。
Forgetting of task-specific knowledge in model merging-based continual learning
- 通过线性合并模型保留共享知识，但任务特有知识迅速退化。
- 增量训练后合并的模型性能优于并行训练后合并。
- 适合关注模型合并对持续学习影响的研究者参考。
本文研究了在持续学习（CL）背景下模型线性合并的现象。通过计算机视觉中的受控视觉提示实验，我们发现模型合并能较好地保留或增强共享知识，但任务特有知识会迅速退化。进一步研究发现，从增量训练过程中获得的模型进行合并，其性能始终优于从并行训练中获得的模型合并结果。
原文摘要 · Abstract (English)
This paper investigates the linear merging of models in the context of continual learning (CL). Using controlled visual cues in computer vision experiments, we demonstrate that merging largely preserves or enhances shared knowledge, while unshared task-specific knowledge rapidly degrades. We further find that merging models from an incremental training process consistently outperforms merging models trained in parallel.
持续学习模型合并知识遗忘
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。