arXiv:2510.17558cs.LG2025-10被引 2
让Transformer生成时用随机潜变量，无监督学习提升下游任务表现。
The Free Transformer
- 用变分方法无监督学习生成时的随机潜变量
- 下游任务性能显著提升，效果优于标准Transformer
- 适合想提升生成模型灵活性的研究者
我们提出一种解码器Transformer的扩展，通过随机潜变量条件化其生成过程，这些潜变量借助变分方法在无监督条件下学习。实验评估表明，引入此类条件化可显著提升下游任务表现。
原文摘要 · Abstract (English)
We propose an extension of the decoder Transformer that conditions its generative process on random latent variables which are learned without supervision thanks to a variational procedure. Experimental evaluations show that allowing such a conditioning translates into substantial improvements on downstream tasks.
Transformer生成模型无监督学习
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。