通过重采样前文片段，减少大模型生成时的错误累积。
Corrector Sampling in Language Models
- 迭代回溯并可能替换已生成文本中的片段，缓解错误传播。
- 在推理与编码任务上相对提升约10%，仅用100B参数微调。
- 可无缝集成现有模型，不牺牲生成速度和精度。
自回归语言模型因固定且不可逆的从左到右生成方式，导致误差不断累积。为此，我们提出一种新的采样方法——重采样前文片段（Resample-Previous-Tokens, RPT）。RPT通过迭代回溯并可能替换先前生成文本中的一段内容，有效缓解误差积累问题。该方法可直接集成至现有自回归模型中，保持其原有的下一个词预测性能与生成速度。对一个80亿参数的预训练模型仅进行1000亿次参数量的微调后，在推理与编码基准测试中相较标准采样方法实现约10%的相对性能提升。
原文摘要 · Abstract (English)
Autoregressive language models accumulate errors due to their fixed, irrevocable left-to-right token generation. To address this, we propose a new sampling method called Resample-Previous-Tokens (RPT). RPT mitigates error accumulation by iteratively revisiting and potentially replacing tokens in a window of previously generated text. This method can be integrated into existing autoregressive models, preserving their next-token-prediction quality and speed. Fine-tuning a pretrained 8B parameter model with RPT for only 100B resulted in ~10% relative improvements on reasoning and coding benchmarks compared to the standard sampling.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。