让Transformer模拟人阅读时跳读和聚焦的并行能力，提升推理速度与质量。
FBS: Modeling Native Parallel Reading inside a Transformer
- 在Transformer中引入可训练的循环机制，模拟人类阅读中的聚焦与跳读。
- 在多个基准上实现更优的效率-质量平衡，且不增加参数量。
- 适合需要高效推理的长文本任务，如文档摘要、问答系统。
大语言模型在众多任务中表现优异，但推理仍主要依赖逐标记自回归生成。现有加速方法多为对流水线的修补，忽略了人类阅读的核心特征：内容自适应的前瞻能力、对文本块结构的计算分配感知，以及预览/略读时的训练-测试一致性。我们提出焦点块跳过变压器（FBS），通过视区注意力窗口（PAW）、块头（CH）和跳过门（SG）三个模块，在Transformer中注入因果可训练循环。在多种基准测试中，FBS在不增加参数的情况下提升了质量-效率权衡，消融实验表明三个模块具有互补性。
原文摘要 · Abstract (English)
Large language models (LLMs) excel across many tasks, yet inference is still dominated by strictly token-by-token autoregression. Existing acceleration methods largely patch this pipeline and miss core human-reading ingredients: content-adaptive foresight, chunk-structure-aware compute allocation, and train-test consistency for preview/skimming. We propose the Fovea-Block-Skip Transformer (FBS), which injects a causal, trainable loop into Transformers via Parafovea-Attention Window (PAW), Chunk-Head (CH), and Skip-Gate (SG). Across diverse benchmarks, FBS improves the quality-efficiency trade-off without increasing parameters, and ablations show the three modules are complementary.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。