通过波浪式线程重排优化闪注意力缓存，显著提升GB10芯片性能。
Sawtooth Wavefront Reordering: Enhanced CuTile FlashAttention on NVIDIA GB10
- 提出波浪式线程重排技术，改善缓存访问模式。
- 在GB10上实现L2缓存缺失减少50%以上，吞吐量提升最高达60%。
- 适用于追求高吞吐的大型语言模型推理场景。
高性能注意力核函数对大语言模型至关重要。本文分析了基于CuTile的闪注意力在内存访问中的行为，并提出一种提升缓存性能的技术。针对NVIDIA GB10（Grace Blackwell）平台，我们识别出导致L2缓存缺失的主要原因。基于此洞察，引入一种名为波浪式线程重排的新编程技术，有效降低缓存缺失。该方法在CUDA与CuTile上均验证有效，在GB10平台上实现L2缓存缺失减少50%或更多，吞吐量最高提升60%。
原文摘要 · Abstract (English)
High-performance attention kernels are essential for Large Language Models. This paper presents analysis of CuTile-based Flash Attention memory behavior and a technique to improve its cache performance. In particular, our analysis on the NVIDIA GB10 (Grace Blackwell) identifies the main cause of L2 cache miss. Leveraging this insight, we introduce a new programming technique called Sawtooth Wavefront Reordering that reduces L2 misses. We validate it in both CUDA and CuTile, observing 50\% or greater reduction in L2 misses and up to 60\% increase in throughput on GB10.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。