用少量反馈教会AI自动挑选最佳大模型回答问题。
Online Learning with LLM Experts from Limited Feedback
- 将提示路由建模为带限制反馈的多臂老虎机问题。
- 在有限反馈下，实现近似最优的响应质量提升。
- 适合需要高效调用多个大模型的实时应用。
我们研究在有限反馈的在线环境中，自适应地将提示分配给大型语言模型（LLM）专家以最大化响应质量。该问题被形式化为一个具有 $K$ 个动作（代表专家）和 $d$ 个特征（编码提示）的带宽问题，持续 $T$ 轮。我们提出了策略性选择并观测奖励以最小化遗憾的算法。在完全信息设置下，遗憾为 $ ilde{O}(d T / oot{m})$；在带宽设置下，遗憾为 $ ilde{O}(d T oot{K / m})$，其中 $m \\< T$ 是反馈预算。实验表明，我们能从有限反馈中高效学习跨多种大模型的高质量路由策略。
原文摘要 · Abstract (English)
We study adaptive routing of prompts to large language model (LLM) experts to maximize response quality in an online setting with limited feedback. We formulate it as a bandit problem with $K$ actions that represent experts and $d$ features that encode prompts, over a horizon of $T$ rounds. We propose algorithms that strategically select and observe rewards to minimize regret. In the full-information setting, we achieve a regret of $\tilde{O}(d T / \sqrt{m})$, while in the bandit setting we achieve $\tilde{O}(d T \sqrt{K / m})$, where $m \ll T$ is a budget on feedback. Our experiments show that we efficiently learn high-quality routing strategies across diverse LLMs from limited feedback.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。