提出首个有限一阶世界下的默认异常推理基准，评估模型修复逻辑矛盾的能力。
ABD: Default Exception Abduction in Finite First Order Worlds
- 基于异常谓词构建背景理论，要求输出稀疏异常公式恢复可满足性
- 在600个实例上测试，最佳模型有效性高但异常稀疏性仍有差距
- 区分三类观察模式，揭示不同场景下的泛化失败特征
我们提出ABD，一个针对有限一阶世界中默认-异常归因的基准。给定带异常谓词的背景理论和一组关系结构，模型需输出一个一阶公式定义异常，使理论重新可满足，同时保持异常稀疏。我们形式化了三种观测模式（闭世界、存在完成、全称完成），并采用精确SMT验证。在600个实例上评估十种前沿大语言模型，最佳模型具有高有效性，但异常稀疏性仍存差距；持有集评估揭示了不同模式下各异的泛化失败模式。
原文摘要 · Abstract (English)
We introduce ABD, a benchmark for default-exception abduction over finite first-order worlds. Given a background theory with an abnormality predicate and a set of relational structures, a model must output a first-order formula that defines exceptions, restoring satisfiability while keeping exceptions sparse. We formalize three observation regimes (closed-world, existential completion, universal completion) with exact SMT verification. Evaluating ten frontier LLMs on 600 instances, the best models achieve high validity but parsimony gaps remain, and holdout evaluation reveals distinct generalization failure modes across regimes.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。