将自然语言问题转为可执行代码，提升表格问答准确率与可解释性。
AILS-NTUA at SemEval-2025 Task 8: Language-to-Code prompting and Error Fixing for Tabular Question Answering
- 通过语言到代码的提示工程，将自然语言查询转化为可执行代码。
- 在数据集上两个子任务均排名第一，显著优于基线模型。
- 适合关注表格问答、代码生成与大模型可解释性的研究者。
本文介绍了我们在SemEval-2025任务8：表格数据上的问答任务中的参赛方案。该任务基于DataBench数据集，评估大语言模型（LLMs）在结构化数据上回答自然语言问题的能力，同时克服了以往基准在主题多样性与表格规模上的局限。我们提出一种系统，利用高效的LLM提示技术，将自然语言查询转化为可执行代码，从而实现精准回答、错误修正与可解释性。我们的方法在私有模型类别中两个子任务均排名第一，显著优于主办方提供的基线模型。
原文摘要 · Abstract (English)
In this paper, we present our submission to SemEval-2025 Task 8: Question Answering over Tabular Data. This task, evaluated on the DataBench dataset, assesses Large Language Models' (LLMs) ability to answer natural language questions over structured data while addressing topic diversity and table size limitations in previous benchmarks. We propose a system that employs effective LLM prompting to translate natural language queries into executable code, enabling accurate responses, error correction, and interpretability. Our approach ranks first in both subtasks of the competition in the proprietary model category, significantly outperforming the organizer's baseline.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。