用ngram模型调整生成风格，让大模型模仿极端语气但不丢流畅性。
Transferring Extreme Subword Style Using Ngram Model-Based Logit Scaling
- 基于ngram的对数缩放技术，控制生成文本的子词风格。
- 在保持原文本困惑度接近目标作者水平的同时，降低风格相关困惑度。
- 适合需要精准控制语言风格的研究者或内容创作者。
我们提出一种基于ngram模型的对数缩放技术，可在推理阶段有效将极端子词风格迁移至大型语言模型。通过跟踪生成文本相对于ngram插值版与原始版本评估模型的困惑度，我们发现：当前者困惑度最小化而后者接近目标作者或角色生成文本的困惑度时，可选出充分适应程度同时保留流畅性的参数设置。该方法为风格迁移提供了可量化、可控制的实现路径。
原文摘要 · Abstract (English)
We present an ngram model-based logit scaling technique that effectively transfers extreme subword stylistic variation to large language models at inference time. We demonstrate its efficacy by tracking the perplexity of generated text with respect to the ngram interpolated and original versions of an evaluation model. Minimizing the former measure while the latter approaches the perplexity of a text produced by a target author or character lets us select a sufficient degree of adaptation while retaining fluency.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。