发现变分自编码器后验坍缩本质是潜空间特征选择
Latent Spectroscopy: Posterior Collapse as a Feature
- 用PCA特征值衡量潜变量重建贡献，揭示坍缩为特征筛选过程
- 调节正则化强度可观察到按特征重要性排序的逐级坍缩现象
- 在世界气候数据集上验证了坍缩阈值与临界缩放规律
我们证明，在线性高斯变分自编码器中，后验坍缩是一种潜空间特征选择行为。每个潜变量对重构的贡献由对应主成分分析（PCA）的特征值决定，从而定义特征重要性。通过调整正则化强度β，可观测到按特征重要性排序的逐步坍缩事件，坍缩阈值由特征效用（即PCA谱）决定。逐模式分析表明，尺度不变信号占比是一个序参量，在坍缩附近服从朗道标度规律。世界气候数据集实验验证了效用-阈值校准关系以及预测的近坍缩标度行为。
原文摘要 · Abstract (English)
We show that, in linear Gaussian VAEs, posterior collapse is a form of latent feature selection. Feature importance is set by each latent coordinate's contribution to reconstruction, itself given by the corresponding PCA eigenvalue. Varying the regularizer strength $β$ reveals a ranked spectrum of collapse events, with thresholds set by the utility/PCA spectrum. A mode-by-mode analysis identifies the scale-invariant signal fraction as an order parameter obeying Landau scaling near collapse. WorldClim experiments confirm both the utility-threshold calibration and the predicted near-collapse scaling.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。