研究如何在有限算力下提升大模型输出一致性
Estimating the Self-Consistency of LLMs
- 通过多次重复调用模型并聚合结果提升可靠性
- 算力固定时，采样数与重复次数应近似平方根均衡分配
- 适合关注大模型输出稳定性的研究人员和应用开发者
系统常对大语言模型（LLMs）重复输入相同提示，并聚合多个响应以提高可靠性。本文分析了评估 LLM 自一致性的估计器及其在固定算力预算 $B=mn$ 下的权衡，其中 $m$ 为从任务分布中采样的提示数，$n$ 为每个提示的重复调用次数。研究表明，在该约束下，最优策略是令 $m,n\propto\sqrt{B}$，即采样数与重复次数大致相等。
原文摘要 · Abstract (English)
Systems often repeat the same prompt to large language models (LLMs) and aggregate responses to improve reliability. This short note analyzes an estimator of the self-consistency of LLMs and the tradeoffs it induces under a fixed compute budget $B=mn$, where $m$ is the number of prompts sampled from the task distribution and $n$ is the number of repeated LLM calls per prompt; the resulting analysis favors a rough split $m,n\propto\sqrt{B}$.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。