为足球视频生成动作描述并精确定位时间戳

Technical Report for Soccernet 2023 -- Dense Video Captioning

• 用BLIP框架生成每段动作的描述
• 通过多尺寸滑窗、时序提案生成定位关键帧
• 适合需要精准时间定位的体育视频分析场景

在Soccernet数据集的密集视频字幕任务中，本文旨在为每个足球动作生成视频描述并精确定位其时间戳。首先，采用BLIP作为视频字幕生成框架，输出动作描述；随后，通过三种方式定位时间戳：（1）多尺寸滑动窗口；（2）时序提案生成；（3）提案分类。该方法实现了对足球比赛中复杂动作序列的细粒度理解与标注。

原文摘要 · Abstract (English)

In the task of dense video captioning of Soccernet dataset, we propose to generate a video caption of each soccer action and locate the timestamp of the caption. Firstly, we apply Blip as our video caption framework to generate video captions. Then we locate the timestamp by using (1) multi-size sliding windows (2) temporal proposal generation and (3) proposal classification.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。