用进化算法优化提示词嵌入，让大模型生成更多样化结果。
Parameter-Efficient Neuroevolution for Diverse LLM Generation: Quality-Diversity Optimization via Prompt Embedding Evolution
- 不微调模型，通过进化算法优化32K参数的提示嵌入来控制生成行为。
- 在HumanEval等测试中，生成覆盖率达46.4%提升，多样性得分高41.4%。
- 适合想提升大模型输出多样性、无需训练的开发者和研究者使用。
大型语言模型存在模式崩溃问题，生成结果同质化，无法探索有效解空间。本文提出QD-LLM框架，一种参数高效的神经进化方法，通过在冻结的超大规模语言模型（70B+参数）中进化提示嵌入（~32K参数），实现质量-多样性（QD）优化。该方法采用无梯度优化策略，避免模型微调；设计混合行为表征，结合语义与显式特征，并在验证近独立性（NMI = 0.08 ± 0.02）基础上建立形式化覆盖边界（定理1）；引入协同进化变异算子，包括基于有限差分梯度估计的目标行为突变。在HumanEval（164个问题）、MBPP及创意写作基准上，相比QDAIF，QD-LLM实现46.4%更高的覆盖率与41.4%更高的QD-Score（p<0.001，30次运行，Vargha-Delaney A=0.94）。下游应用显示，多样化生成档案可提升测试生成（边缘案例多34%）与微调数据质量（准确率提升8.3%）。在Llama-3-70B、Mistral-Large等开源模型上验证，证明提示嵌入进化是连接神经进化与现代大模型的有效范式。
原文摘要 · Abstract (English)
Large Language Models exhibit mode collapse, producing homogeneous outputs that fail to explore valid solution spaces. We present QD-LLM, a framework for parameter-efficient neuroevolution that evolves prompt embeddings, compact neural interfaces (~32K parameters) that steer generation in frozen LLMs (70B+ parameters), within a Quality-Diversity (QD) optimization framework. Our contributions: (1) evolved prompt embeddings via gradient-free optimization enabling behavioral steering without model fine-tuning; (2) hybrid behavior characterization combining semantic and explicit features with formal coverage bounds (Theorem 1) under validated near-independence (NMI $= 0.08 \pm 0.02$); (3) co-evolutionary variation operators including targeted behavioral mutation via finite-difference gradient estimation. On HumanEval (164 problems), MBPP, and creative writing benchmarks, QD-LLM achieves 46.4% higher coverage and 41.4% higher QD-Score than QDAIF ($p<0.001$, 30 runs, Vargha-Delaney $A=0.94$). We demonstrate downstream utility: diverse archives improve test generation (34% more edge cases) and fine-tuning data quality (8.3% accuracy gain). We validate across open-source LLMs (Llama-3-70B, Mistral-Large) with full embedding access, establishing prompt embedding evolution as an effective paradigm bridging neuroevolution and modern LLMs.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。