arXiv:2507.04895cs.CL2025-07

用小模型适配军事领域,兼顾专业能力与通用性能。

O_FT@EvalLLM2025 : étude comparative de choix de données et de stratégies d'apprentissage pour l'adaptation de modèles de langue à un domaine

  • 基于Mistral-7B-Instruct-v0.3做持续预训练与指令微调。
  • 在军事领域任务上表现更优,通用能力不降反升。
  • 数据构建与碳足迹控制,适合资源有限的场景。

本论文介绍O_FT团队联合Orange与Ouest-France在EvalLLM2025挑战中,针对军事领域对语言模型进行适配的工作。研究聚焦于使用经典方法——持续预训练与指令微调,对 exttt{Mistral-7B-Instruct-v0.3}模型进行领域适应。核心工作包括为两个阶段及模型评估构建、生成和筛选数据。实验表明,所适配模型在军事领域知识掌握与任务处理能力上显著提升,同时在通用知识与技能方面表现相当(甚至更优)。结合适配过程的碳足迹分析,该工作证明了小模型实现领域适配的可行性。

原文摘要 · Abstract (English)

This paper presents the work carried out by the O_FT team, joint with Orange and Ouest-France, on adapting language models to the defense domain as part of the EvalLLM2025 challenge. This work focused on adapting the \texttt{Mistral-7B-Instruct-v0.3} model using classical techniques of continued pre-training and instruction-tuning. The core of our efforts is based on collecting, generating, and selecting data for these two stages as well as for model evaluation. Experiments show that our adapted models have better domain-specific knowledge and improved domain-specific task processing skills, along with comparable (or even superior) performance on general knowledge and skills. Considering the carbon footprint of our adaptations, this work demonstrates the feasibility of domain adaptation for relatively small models. -- Ce document présente les travaux réalisés par l'équipe O_FT conjointe à Orange et Ouest-France sur l'adaptation de modèles de langue au domaine de la défense dans le cadre du challenge EvalLLM2025. Ces travaux se sont concentrés sur l'adaptation du modèle \texttt{Mistral-7B-Instruct-v0.3} avec des techniques classiques de poursuite du pré-entraînement et d'affinage sur instructions. L'essentiel de nos travaux a porté sur la constitution, génération et sélection de données pour ces deux étapes ainsi que pour l'évaluation des modèles. Les expériences montrent que nos modèles adaptés ont de meilleures de connaissances de fond et une meilleure capacité de traitement de tâches sur le domaine de la défense, ainsi que des performances comparables (voire supérieures) sur des connaissances ou capacités généralistes. Mis au regard des empreintes carbones de nos adaptations, ces travaux démontrent ainsi la viabilité de l'adaptation à un domaine de modèles relativement petits.

领域适配小模型军事应用指令微调

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。