arXiv:2601.18030cs.LG2026-01
给词嵌入加入拼写信息，能提升模型表现并减少训练资源需求。
Spelling Bee Embeddings for Language Modeling
- 在嵌入层中融入词的拼写特征，增强语义表征能力。
- 模型在标准基准上表现更好，等效节省约8%计算与数据资源。
- 适合关注模型效率与拼写鲁棒性的自然语言处理研究者。
我们提出对嵌入层进行简单修改，关键在于将词的拼写信息融入词嵌入。使用此类嵌入训练的模型不仅在拼写任务上表现更优，也在标准基准测试中取得提升。我们对参数量从40M到800M的模型进行了缩放研究，结果表明，性能提升相当于在相同测试损失下可减少约8%的计算与数据需求。
原文摘要 · Abstract (English)
We introduce a simple modification to the embedding layer. The key change is to infuse token embeddings with information about their spelling. Models trained with these embeddings improve not only on spelling, but also across standard benchmarks. We conduct scaling studies for models with 40M to 800M parameters, which suggest that the improvements are equivalent to needing about 8% less compute and data to achieve the same test loss.
嵌入改进语言建模模型效率
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。