用大模型自动发现高性能线性代数的最优算法调度策略。
Data-Driven Dynamic Algorithm Dispatch with Large Language Models
- 基于提示工程与性能数据库，让大模型学习生成算法选择策略。
- 在LU分解任务中复现了专家设计的高效调度方案。
- 适合对自适应算法优化感兴趣的开发者和研究者。
我们提出一种由大语言模型（LLM）驱动的方法，用于生成高性能线性代数中的动态算法调度启发式策略。通过结合提示工程与LLaMA 3模型及精心构建的性能数据库，该模型能够学习合成利用结构模式的算法选择策略，以识别快速的计算路径。在LU分解的案例研究中，模型成功复现了专家设计的调度策略。这项工作是DARPA-MIT SmartSolve项目的一部分，展示了大语言模型在算法发现中的潜力，以及开发更自适应、更快线性代数软件的前景。
原文摘要 · Abstract (English)
We introduce a large language model (LLM)-driven approach for generating dynamic algorithmic dispatch heuristics in high-performance linear algebra. By combining prompt engineering with LLaMA 3 and a curated performance database, the model learns to synthesize selection heuristics that exploit structural patterns to identify fast algorithmic choices. A case study on LU factorization demonstrates the model's ability to replicate expert-designed strategies. This work, developed as part of the DARPA-MIT SmartSolve project, highlights the promise of LLMs for algorithmic discovery and the development of more adaptive, fast linear algebra software.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。