用文本描述生成视频中指定物体的透明度图，实现精准交互抠图。
VRMDiff: Text-Guided Video Referring Matting Generation of Diffusion
- 将抠图转为视频生成任务，利用扩散模型对齐文本与视频语义。
- 提出新型损失函数，显著提升不同物体间的区分能力。
- 首个包含文本、视频和实例级透明度图的大规模数据集，适合视频编辑研究者使用。
我们提出了一项新任务——视频指代抠图，即通过输入一段指代描述，获取视频中特定实例的透明度图（alpha matte）。我们将抠图这一密集预测任务视为视频生成问题，利用视频扩散模型的文本-视频对齐先验，生成时序连贯且与语义实例紧密相关的透明度图。此外，我们设计了一种新的隐空间构建损失（Latent-Constructive loss），进一步增强对不同实例的区分能力，实现更可控的交互式抠图。同时，我们构建了一个大规模视频指代抠图数据集，包含10,000个视频，是首个同时包含文本描述、视频序列和实例级透明度图的数据集。大量实验验证了方法的有效性。代码与数据集已公开于 https://github.com/Hansxsourse/VRMDiff。
原文摘要 · Abstract (English)
We propose a new task, video referring matting, which obtains the alpha matte of a specified instance by inputting a referring caption. We treat the dense prediction task of matting as video generation, leveraging the text-to-video alignment prior of video diffusion models to generate alpha mattes that are temporally coherent and closely related to the corresponding semantic instances. Moreover, we propose a new Latent-Constructive loss to further distinguish different instances, enabling more controllable interactive matting. Additionally, we introduce a large-scale video referring matting dataset with 10,000 videos. To the best of our knowledge, this is the first dataset that concurrently contains captions, videos, and instance-level alpha mattes. Extensive experiments demonstrate the effectiveness of our method. The dataset and code are available at https://github.com/Hansxsourse/VRMDiff.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。