优化大模型推理中前缀填充的键值缓存管理，提升效率与速度。
Towards Efficient Key-Value Cache Management for Prefix Prefilling in LLM Inference
- 分析真实访问模式，发现现有缓存系统不适用于大模型前缀填充场景。
- 对比Redis、CHIME等系统，揭示元数据管理瓶颈导致性能下降。
- 为低延迟、可扩展的大模型推理提供缓存系统设计新思路，适合工程优化者。
随着大语言模型（LLM）上下文窗口不断扩展，高效的关键-值缓存（KVC）管理对优化推理性能至关重要。检索增强生成（RAG）和智能体等推理任务具有高缓存复用性，因此高效的缓存机制能显著减少冗余并提升速度。本文基于公开的访问追踪数据，分析了真实世界中的KVC访问模式，并评估了Redis等商用键值存储以及先进的基于RDMA的系统（CHIME和Sherman）在管理KVC元数据方面的表现。研究揭示了当前缺乏针对KVC预填充的专用存储方案，强调了构建具备优化元数据管理能力的分布式缓存系统对于实现可扩展、低延迟的LLM推理的必要性，并为未来KVC管理系统的改进提供了关键洞见。
原文摘要 · Abstract (English)
The increasing adoption of large language models (LLMs) with extended context windows necessitates efficient Key-Value Cache (KVC) management to optimize inference performance. Inference workloads like Retrieval-Augmented Generation (RAG) and agents exhibit high cache reusability, making efficient caching critical to reducing redundancy and improving speed. We analyze real-world KVC access patterns using publicly available traces and evaluate commercial key-value stores like Redis and state-of-the-art RDMA-based systems (CHIME [1] and Sherman [2]) for KVC metadata management. Our work demonstrates the lack of tailored storage solution for KVC prefilling, underscores the need for an efficient distributed caching system with optimized metadata management for LLM workloads, and provides insights into designing improved KVC management systems for scalable, low-latency inference.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。