用多个自适应提示增强图文对齐，提升模型理解力。
Context-Adaptive Multi-Prompt Embedding with Large Language Models for Vision-Language Alignment
- 设计多结构提示，每个含可变语义标记，捕捉文本多方面信息。
- 在图像和视频图文检索任务上均实现稳定性能提升。
- 适合需要精细语义对齐的多模态应用开发者使用。
我们提出一种名为上下文自适应多提示嵌入的新方法，用于丰富视觉-语言对比学习中的语义表示。与传统CLIP类模型仅依赖单一文本嵌入不同，该方法引入多个结构化提示，每个提示包含一个独特的自适应标记，以捕获输入文本的不同语义层面。我们利用预训练的大语言模型作为CLIP框架内的文本编码器，在一次前向传播中联合处理所有提示。生成的提示嵌入被融合为统一的文本表示，从而实现与视觉特征更丰富的语义对齐。为进一步促进语义多样性和表示质量，我们引入多样性正则化损失和否定感知损失，鼓励各提示间的分工细化并增强对比区分能力。该方法在图像-文本与视频-文本检索基准测试中均取得一致改进。
原文摘要 · Abstract (English)
We propose Context-Adaptive Multi-Prompt Embedding, a novel approach to enrich semantic representations in vision-language contrastive learning. Unlike standard CLIP-style models that rely on a single text embedding, our method introduces multiple structured prompts, each containing a distinct adaptive token that captures diverse semantic aspects of the input text. We leverage a pretrained LLM as the text encoder within the CLIP framework, processing all prompts jointly in a single forward pass. The resulting prompt embeddings are combined into a unified text representation, enabling semantically richer alignment with visual features. To further promote semantic diversity and representation quality, we incorporate a diversity regularization loss and a negation-aware loss, encouraging specialization across prompts and improving contrastive discrimination. Our method achieves consistent improvements on both image-text and video-text retrieval benchmarks.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。