用AI自动生成能猜出成语的图文谐音梗，让机器也懂中文幽默。
Visual Puns from Idioms: An Iterative LLM-T2IM-MLLM Framework
- 三模型迭代协作：先造提示、再生成图、从图猜成语，循环优化直到成功。
- 用1000个成语生成图文数据集，验证了多模型在图像理解上的表现差异。
- 闭源模型如GPT表现最佳，但开源模型Gemma已具备竞争力，适合研究中文语义理解。
我们研究基于成语的视觉双关——即图像同时体现成语字面与比喻含义的现象，并提出一个由大语言模型（LLM）、文本到图像模型（T2IM）和多模态大模型（MLLM）协同的迭代框架，实现自动生成与评估。给定一个成语，系统迭代执行四步：(i) 生成详细视觉提示，(ii) 合成图像，(iii) 从图像中推断成语，(iv) 根据识别结果优化提示，直至成功识别或达到步数上限。使用1,000个成语作为输入，我们构建了一个对应的视觉双关图像数据集，包含配对的提示与图像，支持生成与理解能力的基准测试。在10个LLM、10个MLLM和1个T2IM（Qwen-Image）上的实验表明，MLLM的选择是性能关键：GPT达到最高准确率，Gemini次之，最佳开源模型Gemma的表现可与部分闭源模型媲美。在LLM方面，Claude在提示生成上平均表现最强。
原文摘要 · Abstract (English)
We study idiom-based visual puns--images that align an idiom's literal and figurative meanings--and present an iterative framework that coordinates a large language model (LLM), a text-to-image model (T2IM), and a multimodal LLM (MLLM) for automatic generation and evaluation. Given an idiom, the system iteratively (i) generates detailed visual prompts, (ii) synthesizes an image, (iii) infers the idiom from the image, and (iv) refines the prompt until recognition succeeds or a step limit is reached. Using 1,000 idioms as inputs, we synthesize a corresponding dataset of visual pun images with paired prompts, enabling benchmarking of both generation and understanding. Experiments across 10 LLMs, 10 MLLMs, and one T2IM (Qwen-Image) show that MLLM choice is the primary performance driver: GPT achieves the highest accuracies, Gemini follows, and the best open-source MLLM (Gemma) is competitive with some closed models. On the LLM side, Claude attains the strongest average performance for prompt generation.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。