用轻量版ViT蒸馏遥感图像检索，速度提升3倍还更准。

ERVD: An Efficient and Robust ViT-Based Distillation Framework for Remote Sensing Image Retrieval

• 用小模型蒸馏大ViT，压缩模型同时保留特征
• 在UCM和HRSC2016上精度超基准1.8~2.4个百分点
• 适合资源受限场景的遥感图像快速检索

针对遥感图像检索中视觉变换器（ViT）模型庞大、部署困难的问题，本文提出一种高效且鲁棒的基于ViT的蒸馏框架ERVD。该方法通过设计轻量化教师-学生架构，在不损失语义信息的前提下显著减小模型体积。在UCM和HRSC2016两个公开遥感数据集上的实验表明，所提方法在保持高精度的同时，推理速度相比基准模型提升3倍以上，且在噪声扰动下仍具备强鲁棒性。此外，通过引入多尺度注意力对齐与特征重构损失，有效提升了小模型对关键空间结构的捕捉能力。结果证明，ERVD在效率与性能之间实现了良好平衡，适用于边缘设备上的实时遥感图像检索任务。

原文摘要 · Abstract (English)

ERVD: An Efficient and Robust ViT-Based Distillation Framework for Remote Sensing Image Retrieval

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。