用双代理架构解决语音助手检索延迟问题，让响应快如闪电。

VoiceAgentRAG: Solving the RAG Latency Bottleneck in Real-Time Voice Agents Using Dual-Agent Architectures

• 双代理设计：慢思考者预判话题并提前加载文档，快说话者直接读缓存。
• 缓存命中时响应延迟低于1毫秒，比传统检索快10倍以上。
• 适合对实时性要求高的语音助手系统，开源可复用。

我们提出VoiceAgentRAG，一个开源的双代理记忆路由系统，将检索与生成解耦。后台的Slow Thinker代理持续监控对话流，利用大模型预测可能的后续话题，并预先将相关文档块缓存至基于FAISS的语义缓存中。前台的Fast Talker代理仅从该亚毫秒级缓存读取信息，在缓存命中时完全绕过向量数据库，显著降低延迟。

原文摘要 · Abstract (English)

We present VoiceAgentRAG, an open-source dual-agent memory router that decouples retrieval from response generation. A background Slow Thinker agent continuously monitors the conversation stream, predicts likely follow-up topics using an LLM, and pre-fetches relevant document chunks into a FAISS-backed semantic cache. A foreground Fast Talker agent reads only from this sub-millisecond cache, bypassing the vector database entirely on cache hits.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。