用视觉语言模型驱动智能体，高效调用工具完成任务。
Multi-modal Agent Tuning: Building a VLM-Driven Agent for Efficient Tool Usage
- 通过自动生成多模态工具使用数据，训练视觉语言模型作为控制器。
- 在2万条任务轨迹上训练的T3-Agent使性能提升20%，优于未训练模型。
- 适合研究多模态智能体、工具调用与视觉语言模型应用的开发者。
大型语言模型的发展推动了多模态智能体的兴起，这类智能体可作为控制器调用外部工具，为解决实际任务提供可行方案。本文提出一种多模态智能体微调方法，通过自动合成多模态工具使用数据，并以视觉语言模型（VLM）作为控制器进行强大工具推理能力的训练。为保障数据质量，我们利用GPT-4o mini生成查询、文件和操作轨迹，并引入查询-文件与轨迹验证器进行校验。基于该合成流程，构建了包含20,000个任务及工具使用轨迹的MM-Traj数据集。在此基础上，我们开发了T3-Agent，通过在VLM上进行轨迹微调（Trajectory Tuning），实现对工具使用的有效控制。在GTA和GAIA基准测试中，T3-Agent在MiniCPM-V-8.5B和Qwen2-VL-7B两个主流VLM上均表现优异，相比未训练的VLM性能提升20%，验证了所提数据合成流程的有效性，为工具使用能力提供了高质量训练数据。
原文摘要 · Abstract (English)
The advancement of large language models (LLMs) prompts the development of multi-modal agents, which are used as a controller to call external tools, providing a feasible way to solve practical tasks. In this paper, we propose a multi-modal agent tuning method that automatically generates multi-modal tool-usage data and tunes a vision-language model (VLM) as the controller for powerful tool-usage reasoning. To preserve the data quality, we prompt the GPT-4o mini model to generate queries, files, and trajectories, followed by query-file and trajectory verifiers. Based on the data synthesis pipeline, we collect the MM-Traj dataset that contains 20K tasks with trajectories of tool usage. Then, we develop the T3-Agent via \underline{T}rajectory \underline{T}uning on VLMs for \underline{T}ool usage using MM-Traj. Evaluations on the GTA and GAIA benchmarks show that the T3-Agent consistently achieves improvements on two popular VLMs: MiniCPM-V-8.5B and {Qwen2-VL-7B}, which outperforms untrained VLMs by $20\%$, showing the effectiveness of the proposed data synthesis pipeline, leading to high-quality data for tool-usage capabilities.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。