用生成的图像作为视觉推理中间步骤，提升多模态模型可解释性。
Gen-VCoT: Generative Visual Chain-of-Thought Reasoning via Diffusion-Based RGB Intermediate Representations
- 通过分割、深度图和视觉语言模型生成三阶段图像中间表示。
- 空间和深度问题准确率分别提升25%和50%，但简单事实题表现下降。
- 适合需要可解释推理的复杂视觉任务，如三维理解与场景分析。
多模态大模型在视觉推理上表现优异，但依赖文本链式思考（CoT），缺乏可解释的视觉中间表示。现有方法使用不透明的令牌或外部工具，难以捕捉关键特性。本文提出Gen-VCoT框架，利用专家视觉模型生成RGB图像作为推理中间表示，包含三个阶段：视觉定位（SAM分割）、几何推理（Marigold深度图）和语义推理（Qwen2-VL整合）。自适应路由机制选择推理深度。评估显示，该方法在空间（提升25%）和深度（提升50%）类问题上表现更优，但在简单事实问答上表现不如文本CoT（CLEVR数据集上91.2% vs 62.5%），表明最优表示具有任务依赖性。Gen-VCoT建立了一种新的可解释多模态推理范式。
原文摘要 · Abstract (English)
Multimodal large language models (MLLMs) excel at visual reasoning but rely on text-based chain-of-thought (CoT), lacking interpretable visual intermediates. Existing methods use opaque tokens or external tools, missing key properties. We propose Gen-VCoT, a framework using expert vision models to generate RGB images as reasoning intermediates. It has three stages: visual grounding (SAM segmentation), geometric reasoning (Marigold depth maps), and semantic reasoning (Qwen2-VL integration). An adaptive router selects reasoning depth. Evaluations show Gen-VCoT improves spatial (25% better) and depth (50% better) questions, but may hurt simple factual queries. Text CoT outperforms visual intermediates on CLEVR (91.2% vs 62.5%), showing task-dependent optimal representations. Gen-VCoT establishes a new paradigm for interpretable multimodal reasoning.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。