用人物设定控制大模型，让标注更多样可控。
Personas with Attitudes: Controlling LLMs for Diverse Data Annotation
- 在提示中注入不同人物设定，引导模型生成多样化输出。
- 有角色设定的模型标注多样性显著高于无设定版本。
- 结果可重复、可控制，适合主观性任务如毒性检测。
我们提出一种新方法，通过个性化大型语言模型（LLMs）来提升数据标注任务中的多样性与可控性。通过两项研究，探究在提示中注入多样人物描述对标注结果的影响，验证了人物设定是否能增强标注多样性，以及各人物设定的效果是否具有一致性和可控性。结果表明，带有角色提示的LLM生成的标注比无角色提示的模型更具多样性，且这种影响具有可控性和可重复性，使该方法成为提升主观自然语言处理任务（如毒性检测）数据标注质量的有力工具。
原文摘要 · Abstract (English)
We present a novel approach for enhancing diversity and control in data annotation tasks by personalizing large language models (LLMs). We investigate the impact of injecting diverse persona descriptions into LLM prompts across two studies, exploring whether personas increase annotation diversity and whether the impacts of individual personas on the resulting annotations are consistent and controllable. Our results show that persona-prompted LLMs produce more diverse annotations than LLMs prompted without personas and that these effects are both controllable and repeatable, making our approach a suitable tool for improving data annotation in subjective NLP tasks like toxicity detection.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。