构建轻量级评测基准，快速验证大模型写 Azure SDK 代码是否正确。
ACE-Bench: A Lightweight Benchmark for Evaluating Azure SDK Usage Correctness
- 将官方文档示例转为可自执行的编码任务，用正则和 LLM 判决验证。
- 无需云资源或测试环境，评估成本低且结果可复现。
- 适合日常开发与持续集成，支持多语言新 SDK 扩展。
我们提出 ACE-Bench（Azure SDK 编码评测基准），一个无需执行的轻量级评测工具，可快速判断基于大语言模型（LLM）的编程代理是否正确使用 Azure SDK，无需部署云资源或维护复杂的端到端测试环境。ACE-Bench 将官方 Azure SDK 文档中的示例转化为独立的编码任务，并通过特定任务的原子化标准进行验证：使用确定性正则表达式检查强制要求的 API 使用模式，以及基于参考答案的 LLM 判决检查捕捉语义工作流约束。该设计使以 SDK 为中心的评估在日常开发和持续集成中变得可行，显著降低评估成本、提升可复现性，并随文档演进可扩展至新 SDK 与多语言。我们使用轻量级编码代理，对多个主流 LLM 进行评测，量化了在 MCP 增强环境下检索机制带来的收益，结果显示文档访问带来持续提升，但不同模型间差异显著。
原文摘要 · Abstract (English)
We present ACE-Bench (Azure SDK Coding Evaluation Benchmark), an execution-free benchmark that provides fast, reproducible pass or fail signals for whether large language model (LLM)-based coding agents use Azure SDKs correctly-without provisioning cloud resources or maintaining fragile end-to-end test environments. ACE-Bench turns official Azure SDK documentation examples into self-contained coding tasks and validates solutions with task-specific atomic criteria: deterministic regex checks that enforce required API usage patterns and reference-based LLM-judge checks that capture semantic workflow constraints. This design makes SDK-centric evaluation practical in day-to-day development and CI: it reduces evaluation cost, improves repeatability, and scales to new SDKs and languages as documentation evolves. Using a lightweight coding agent, we benchmark multiple state-of-the-art LLMs and quantify the benefit of retrieval in an MCP-enabled augmented setting, showing consistent gains from documentation access while highlighting substantial cross-model differences.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。