纯脉冲神经网络实现大模型语言建模，无需变压器蒸馏。
NeuronSpark: A Spiking Neural Network Language Model with Selective State Space Dynamics
- 设计选择性状态空间脉冲动态与自适应步长机制，提升SNN语言建模能力。
- 在约14亿预训练标记和6500步微调下，预训练损失达3.6，初现多轮对话能力。
- 适合对生物可解释性、低功耗推理感兴趣的模型研究者。
我们探讨纯脉冲神经网络（SNN）能否从随机初始化开始，不依赖变压器蒸馏，直接学习大规模语言建模。提出NeuronSpark，一个0.9B参数的SNN语言模型，采用下一词预测目标和代理梯度进行训练。该模型融合选择性状态空间脉冲动态、漏电电流跨层通信、PonderNet自适应时间步、融合Triton PLIF核及稳定化技术（残差中心化、侧抑制归一化、自然梯度补偿）。在受限预算下（约14亿预训练标记，6500步监督微调），NeuronSpark-0.9B达到3.6的预训练损失，并在微调后展现出早期多轮对话行为。结果验证了在该规模下，纯SNN架构实现端到端语言建模的可行性。
原文摘要 · Abstract (English)
We ask whether a pure spiking backbone can learn large-scale language modeling from random initialization, without Transformer distillation. We introduce NeuronSpark, a 0.9B-parameter SNN language model trained with next-token prediction and surrogate gradients. The model combines selective state-space spiking dynamics, leakage-current inter-layer communication, PonderNet adaptive timesteps, fused Triton PLIF kernels, and stabilization techniques (residual centering, lateral-inhibition normalization, and natural-gradient compensation). Under a constrained budget (about 1.4B pretraining tokens and 6.5K SFT steps), NeuronSpark-0.9B reaches 3.6 pretraining loss and shows early multi-turn dialogue behavior after SFT. These results support the feasibility of end-to-end language modeling with a pure SNN architecture at this scale.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。