让大模型自我检查上下文，避免遗漏细节要求。

ContextGuard: Structured Self-Auditing for Context Learning in Language Models

• 设计结构化自审计机制，让模型主动检查上下文细节。
• 在复杂任务中准确率提升17.3%，显著减少遗漏错误。
• 适合需要高精度理解上下文的应用场景。

最新基准测试显示，尽管大型语言模型具备强大的推理能力，但在忠实应用复杂上下文知识时仍表现不佳。这些失败并非整体推理崩溃：在上下文丰富的任务中，模型可能遵循主要推理路径，却忽略边缘性、持续性或格式敏感的要求。本文提出ContextGuard，一种用于语言模型上下文学习的结构化自审计方法。该方法通过内置的验证模块，系统性检测模型对上下文关键信息的遵循情况，包括隐含规则、重复提示和格式约束。在多个多步推理数据集上的实验表明，ContextGuard能有效提升模型对复杂上下文的理解能力，在HellaSwag、LAMA-TACO和Big-Bench Hard等数据集上平均准确率提升17.3%。此外，该方法无需重新训练，可无缝集成到现有模型中，为构建更可靠的语言模型提供了实用解决方案。

原文摘要 · Abstract (English)

Recent benchmarks reveal that despite strong reasoning capabilities, large language models (LLMs) still struggle to faithfully apply complex contextual knowledge. These failures are often not wholesale reasoning collapses: in context-rich tasks, models may follow the central reasoning path while missing peripheral, persistent, or format-sensitive requirements.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。