70亿参数模型性能超越130亿参数的Llama2，推理更快更省资源。
Mistral 7B
- 采用分组查询注意力和滑动窗口注意力，提升推理效率。
- 在推理、数学和代码生成上优于Llama 1 34B，整体超越Llama 2 13B。
- 提供指令微调版，比Llama 2 13B Chat模型表现更优，开源可用。
我们介绍 Mistral 7B v0.1，一个拥有70亿参数的语言模型，专为卓越性能与高效性设计。该模型在所有评估基准上均优于 Llama 2 13B，且在推理、数学和代码生成任务中超越 Llama 1 34B。模型采用分组查询注意力（GQA）实现更快推理，并结合滑动窗口注意力（SWA），可有效处理任意长度序列且推理开销更低。我们还提供了经过指令微调的版本 Mistral 7B -- Instruct，其在人工与自动化基准测试中均超过 Llama 2 13B -- Chat 模型。所有模型均以 Apache 2.0 许可证发布。
原文摘要 · Abstract (English)
We introduce Mistral 7B v0.1, a 7-billion-parameter language model engineered for superior performance and efficiency. Mistral 7B outperforms Llama 2 13B across all evaluated benchmarks, and Llama 1 34B in reasoning, mathematics, and code generation. Our model leverages grouped-query attention (GQA) for faster inference, coupled with sliding window attention (SWA) to effectively handle sequences of arbitrary length with a reduced inference cost. We also provide a model fine-tuned to follow instructions, Mistral 7B -- Instruct, that surpasses the Llama 2 13B -- Chat model both on human and automated benchmarks. Our models are released under the Apache 2.0 license.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。