提出新型注意力机制，让视觉Transformer在高分辨率任务中更快更准。
HSMLA: Hierarchical Softmax Multi-scale Linear Attention for Efficient Vision Transformers
- 分层软最大值多尺度线性注意力，融合全局与局部特征建模。
- 医学图像分割与病理切片分析中实现最高4.2倍推理加速，精度不降。
- 适合需要高效高精度的医疗影像、遥感等密集预测场景使用。
视觉变换器在高分辨率密集预测任务中面临自注意力计算开销大的问题，其复杂度为二次方。线性注意力虽提升效率，但牺牲了局部上下文建模能力。本文提出HSMLA（分层软最大值多尺度线性注意力），结合基于ReLU的线性注意力捕捉全局上下文，通过选择性软最大值精炼关键局部特征，并利用深度卷积构建多尺度标记表示。HSMLA在多个密集预测任务中实现优异的准确率-效率权衡：在CT器官分割任务中达87.3% Dice分数，推理速度提升3.2倍；在病理全切片图像（WSI）分类任务中达94.2% AUC，推理速度提升4.1倍。
原文摘要 · Abstract (English)
Vision transformers face significant computational overheads in high-resolution dense prediction due to the quadratic complexity of self-attention. Linear attention offers efficiency but sacrifices local context modeling. We propose \textbf{HSMLA (Hierarchical Softmax Multi-scale Linear Attention)}, which combines ReLU-based linear attention for global context, selective softmax refinement for critical local features, and multi-scale token representations via depthwise convolutions. HSMLA achieves superior accuracy-efficiency trade-offs: up to $4.2\times$ inference-time speedup across dense prediction tasks, $87.3%$ Dice with $3.2\times$ speedup on CT organ segmentation, and $94.2%$ AUC with $4.1\times$ speedup on pathology WSI.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。