用归一化流建模条件分布，提升高维互信息估计精度
A Neural Difference-of-Entropies Estimator for Mutual Information
- 基于归一化流建模条件密度，利用块自回归结构优化偏差-方差权衡
- 在标准基准任务上表现优于传统方法，高维场景下稳定性更强
- 适合需要无模型依赖互信息估计的研究者，如因果推断、表征学习
互信息（MI）是衡量随机变量间依赖关系的重要指标，无需特定建模假设，在高维场景下估计极具挑战。本文提出一种新型互信息估计算法，通过使用归一化流（normalizing flows）对条件分布进行参数化建模。该方法采用块自回归结构，在标准基准任务中实现了更优的偏差-方差权衡，显著提升了高维数据下的估计性能。实验验证了其在多个标准测试集上的有效性，尤其在复杂分布和高维空间中表现出更强的鲁棒性。
原文摘要 · Abstract (English)
Estimating Mutual Information (MI), a key measure of dependence of random quantities without specific modelling assumptions, is a challenging problem in high dimensions. We propose a novel mutual information estimator based on parametrizing conditional densities using normalizing flows, a deep generative model that has gained popularity in recent years. This estimator leverages a block autoregressive structure to achieve improved bias-variance trade-offs on standard benchmark tasks.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。