用廉价模型搜索提示词，强模型只在关键时刻参与，大幅降低大模型优化成本。
Optimize Cheap, Deploy Strong: Cost-Aware Cross-Tier Transfer for Evolutionary Optimization
- 将大模型任务拆解为回答、反思、变异三角色，分别分配不同性价比的模型。
- 在4个任务11个模型上，96%以上搜索tokens用最低价模型，成本降低5.6-54倍。
- 适合需要高效优化提示词或智能体程序的研究者与工程团队。
大模型提示词与智能体程序的进化优化主要依赖适应度评估：对每个候选方案运行验证集上的回答模型，因此评估器的价格层级决定了总搜索成本。本文通过解耦大模型的三种角色——将高频率的回答任务部署在最便宜的模型层级，仅在罕见的反思/变异操作中使用强模型，并利用跨层级迁移，将低成本优化出的提示词应用于更强的目标模型。我们提出了一个成本可控的分析框架，揭示了廉价层级搜索何时可替代目标层级搜索，以及失效边界。在四个任务（HotpotQA、IFBench、LiveBench-Math、HoVer）和十一款来自四个模型家族的模型上，所获提示词表现与同层级优化相当，且超过96%的搜索令牌使用最廉价层级，搜索成本降低5.6至14倍；当推理层级在每次评估中生成长链思维时，成本降幅更达25至54倍。
原文摘要 · Abstract (English)
Evolutionary optimization of LLM prompts and agentic programs (e.g., GEPA) is dominated by fitness evaluation: scoring each candidate runs an answering LLM over a validation set, so the evaluator's price tier dictates total search cost. We restructure that search by decoupling the three roles an LLM plays, running the high-volume answering role on the cheapest tier, reserving a strong model for the rare reflection/variation operator, then exploiting upward cross-tier transfer to deploy the cheaply evolved prompt on a stronger target. We contribute a cost-controlled characterization of when cheap-tier search substitutes for target-tier search, and where it fails. Across four tasks (HotpotQA, IFBench, LiveBench-Math, HoVer) and eleven models in four model families, the resulting prompt matches or exceeds same-tier optimization while placing over 96% of search tokens on the cheapest tier, at 5.6-14x lower search cost, rising to 25-54x where reasoning tiers emit long chains of thought on every fitness call.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。