430M小模型用720亿词训练，性能接近用56倍数据训练的模型。
IMU-1: Sample-Efficient Pre-training of Small Language Models
- 采用多组件优化训练方案，提升小模型样本效率。
- 在720亿词上训练，性能媲美用4万亿词训练的大模型。
- 适合资源有限但追求高效训练的小模型研究者。
我们提出IMU-1，一个参数量为4.3亿、在720亿个标记上训练的语言模型，其性能接近在56倍更多数据上训练的模型。我们描述了一套经过验证的训练方法，结合了近期的架构改进（QK归一化注意力、每头门控、值残差、层归一化缩放）与优化进展（使用谨慎权重衰减的NorMuon、muP参数化），并采用三阶段训练流程及事后检查点指数移动平均（EMA）。我们对每个组件进行了消融实验，并发布了代码、模型权重和训练数据以支持复现：https://huggingface.co/thepowerfuldeez/imu1_base。
原文摘要 · Abstract (English)
We present IMU-1, a 430M-parameter language model trained on 72B tokens that approaches the benchmark performance of models trained on 56x more data. We describe a validated training recipe combining recent architectural interventions (QK-norm attention, per-head gating, value residuals, LayerNorm scaling) with optimization advances (NorMuon with cautious weight decay, muP parametrization) and a three-stage training schedule with post-hoc checkpoint EMA. We provide ablations for each component and release code, weights and data to enable reproduction: https://huggingface.co/thepowerfuldeez/imu1_base
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。