测试大模型函数调用在输入扰动下的稳定性，发现现有评估方法有漏洞。
On the Robustness of Agentic Function Calling
- 构建新基准，测试函数调用对自然语言变化和工具扩展的鲁棒性。
- 在BFCL数据集上，顶级模型在输入微小变化下错误率上升超30%。
- 提醒开发者：真实场景中需关注模型抗干扰能力，而非仅看准确率。
大型语言模型（LLMs）正越来越多地作为自主代理使用，其函数调用（FC）能力使它们能调用特定工具完成任务。尽管先前研究主要聚焦于提升函数调用的准确性，但对其输入扰动下鲁棒性的关注却很少。本文提出一个基准，评估函数调用在两个关键方面的鲁棒性：对自然语言查询变化的韧性，以及在工具库扩展为语义相关工具时的稳定性。我们在伯克利函数调用排行榜（BFCL）的一个精心扩增子集上评估了表现最佳的函数调用模型，发现现有评估方法存在显著缺陷，并指出了实际代理部署中的改进方向。
原文摘要 · Abstract (English)
Large Language Models (LLMs) are increasingly acting as autonomous agents, with function calling (FC) capabilities enabling them to invoke specific tools for tasks. While prior research has primarily focused on improving FC accuracy, little attention has been given to the robustness of these agents to perturbations in their input. We introduce a benchmark assessing FC robustness in two key areas: resilience to naturalistic query variations, and stability in function calling when the toolkit expands with semantically related tools. Evaluating best-performing FC models on a carefully expanded subset of the Berkeley function calling leaderboard (BFCL), we identify critical weaknesses in existing evaluation methodologies, and highlight areas for improvement in real-world agentic deployments.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。