开源稀疏专家模型OLMoE，用10亿激活参数超越更大模型。
OLMoE: Open Mixture-of-Experts Language Models
- 采用稀疏专家混合架构，每输入仅激活10亿参数。
- 在5万亿词上预训练，性能超Llama2-13B等大模型。
- 全开源：权重、数据、代码、日志全部公开。
我们提出OLMoE，一个完全开源的先进语言模型，采用稀疏专家混合（MoE）结构。OLMoE-1B-7B拥有70亿参数，但每输入仅激活10亿参数。该模型在5万亿个令牌上进行预训练，并进一步微调得到OLMoE-1B-7B-Instruct。实验表明，其在同等活跃参数量下优于所有现有模型，甚至超越如Llama2-13B-Chat和DeepSeekMoE-16B等更大规模模型。我们进行了多项关于MoE训练的实验，分析了模型路由机制，揭示了高度专业化特征。本工作全面开源：包括模型权重、训练数据、代码及训练日志。
原文摘要 · Abstract (English)
We introduce OLMoE, a fully open, state-of-the-art language model leveraging sparse Mixture-of-Experts (MoE). OLMoE-1B-7B has 7 billion (B) parameters but uses only 1B per input token. We pretrain it on 5 trillion tokens and further adapt it to create OLMoE-1B-7B-Instruct. Our models outperform all available models with similar active parameters, even surpassing larger ones like Llama2-13B-Chat and DeepSeekMoE-16B. We present various experiments on MoE training, analyze routing in our model showing high specialization, and open-source all aspects of our work: model weights, training data, code, and logs.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。