动态分配软令牌，让大模型更聪明地压缩长文本。
DAST: Context-Aware Compression in LLMs via Dynamic Allocation of Soft Tokens
- 根据上下文重要性动态分配软令牌，而非均匀分配。
- 在多个基准上超越现有最优方法，显著提升压缩效率。
- 适合需要高效处理长文本的场景，如文档摘要、对话系统。
大语言模型（LLMs）在处理长上下文输入时面临计算低效和冗余计算问题，促使研究者关注压缩技术。现有的基于语义向量的压缩方法虽表现良好，但未能考虑上下文块间固有的信息密度差异，而是对所有上下文块统一分配软令牌，导致关键信息区域的压缩被削弱。为此，我们提出动态软令牌分配（DAST），一种简单而有效的方法，利用大模型自身对上下文相关性的理解来指导压缩。DAST结合基于困惑度的局部信息与注意力驱动的全局信息，动态将软令牌分配至信息密集的上下文块，实现高效的上下文感知压缩。在多个基准上的实验结果表明，DAST显著优于当前最优方法。
原文摘要 · Abstract (English)
Large Language Models (LLMs) face computational inefficiencies and redundant processing when handling long context inputs, prompting a focus on compression techniques. While existing semantic vector-based compression methods achieve promising performance, these methods fail to account for the intrinsic information density variations between context chunks, instead allocating soft tokens uniformly across context chunks. This uniform distribution inevitably diminishes allocation to information-critical regions. To address this, we propose Dynamic Allocation of Soft Tokens (DAST), a simple yet effective method that leverages the LLM's intrinsic understanding of contextual relevance to guide compression. DAST combines perplexity-based local information with attention-driven global information to dynamically allocate soft tokens to the informative-rich chunks, enabling effective, context-aware compression. Experimental results across multiple benchmarks demonstrate that DAST surpasses state-of-the-art methods.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。