超小模型Co⁴用单层两头仅800万参数，训练效率远超GPT-2和GPT-BERT。
Single layer tiny Co$^4$ outpaces GPT-2 and GPT-BERT
- 单层双头结构，参数仅800万，计算复杂度为O(N)。
- 2个训练周期内超越GPT-2与GPT-BERT在1000万数据上的表现。
- 零样本与微调均优于两者，适合高效预训练场景研究。
我们展示了一个名为Co⁴的微型机器（Adeel, 2025），其仅含单层、两个注意力头，参数量为800万，在近似O(N)的计算成本下（N为输入标记数），仅用两个训练周期便超越了婴儿语言模型挑战赛基准模型GPT-2（1.24亿参数，12层，O(N²)）和GPT-BERT（3000万参数，12层，O(N²)），后者均训练十轮。Co⁴在1000万标记上实现数量级更高的训练效率，展现出极强的样本效率。通过婴儿语言模型挑战赛评估流程，在多个复杂基准测试中，Co⁴在SuperGLUE任务上表现出色：零样本下超越GPT-2的7项指标中的5项，微调任务中6项领先；对GPT-BERT则在两项中均胜出4项。这些结果提示需重新思考当前深度学习范式及缩放定律。
原文摘要 · Abstract (English)
We show that a tiny Co$^4$ machine(Adeel,2025) with a single layer, two heads, and 8M parameters, operating at an approximate cost of $O(N)$ (where $N$ is the number of input tokens), outpaces the BabyLM Challenge baselines GPT-2 (124M, 12 layers, $O(N^2))$ and GPT-BERT (30M, 12 layers, $O(N^2))$ in just two epochs, while both are trained for ten. Co$^4$ achieves orders-of-magnitude greater training efficiency on 10M tokens, demonstrating highly sample efficient pretraining. Using the BabyLM challenge evaluation pipeline across complex benchmarks, Co$^4$ exhibits strong zero-shot and fine-tuning performance on SuperGLUE tasks. Specifically, Co$^4$ outperforms GPT-2 on 5 out of 7 zero-shot metrics and 6 out of 7 fine-tuning tasks, and GPT-BERT on 4 out of 7 metrics in both cases. These results suggest the need to rethink prevailing deep learning paradigms and associated scaling laws.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。