通过密集坐标微调，可控制视觉语言模型的输出重复问题。
Dense Coordinate-List Fine-Tuning Induces a Controllable Interference Surface in Vision-Language Models
- 用密集坐标列表微调模型，改变输出序列行为。
- 最高重复次数降至1，精确重复率归零，同时保持高定位准确率。
- 该方法适用于多模型、多数据集，适合需要可控结构输出的研究者。
将视觉语言模型微调以生成密集坐标列表，虽提升视觉定位能力，但也改变了模型生成、重复和终止结构化输出的方式。我们将其视为生成与控制表面进行研究。在 Gemma 4 12B 上，高容量 q/k/v/o LoRA 将类感知 [email protected] 从 0.007 提升至 0.448，但引入重复尾部压力（重复率 0.080，最大重复 23 次）。q/v 秩扫描显示，在秩 4-64 范围内最大重复保持在 21-22，体现容量稳定性。目标信号可分离：对象级重复终止机制消除完全重复记录（重复率 0.000，最大重复 1），同时维持 F1（0.494 到 0.490）和更严格 [email protected]（0.381 到 0.385）。结构轴探针定位影响范围为边界框坐标对象列表；非边界框及空间/计数型 JSON 在高容量适配器下仍保持无重复。Qwen3-VL-8B 重现干净可控终点（[email protected] 0.318，重复率 0.000），COCO 2017 验证了获取效果与重复压力。因此，密集坐标列表微调构建了一个可测量、可控制的跨模型结构干扰面。
原文摘要 · Abstract (English)
Fine-tuning vision-language models to emit dense coordinate lists improves visual grounding but also changes how models serialize, repeat, and terminate structured outputs. We study this behavior as a generation and control surface. In Gemma 4 12B, high-capacity q/k/v/o LoRA raises class-aware [email protected] from 0.007 to 0.448 while inducing repeated-tail pressure (duplicate rate 0.080, max repeat 23). A q/v rank sweep keeps max repeat at 21-22 across ranks 4-64, showing capacity persistence. The target signal is separable: object-level repeat-stop removes exact repeated records (duplicate rate 0.000, max repeat 1) while preserving F1 (0.494 to 0.490) and stricter [email protected] (0.381 to 0.385). Structure-axis probes localize the effect to bbox-coordinate object lists; dense non-bbox and spatial/count JSON remain repeat-clean, including under high-capacity adapters. Qwen3-VL-8B reproduces a clean controlled endpoint ([email protected] 0.318, duplicate rate 0.000), and COCO 2017 reproduces acquisition plus duplicate pressure. Dense coordinate-list adaptation therefore creates a structure-bound, cross-family interference surface that can be measured and controlled.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。