揭示图神经网络过平滑的根源，提出缓解新方法。
Comment on "A Note on Over-Smoothing for Graph Neural Networks"
- 用狄利克雷能量分析过平滑，证明其随深度指数下降。
- 在轻量激活函数下，能量衰减速度更快，实验证明可逆性。
- 适合研究图神经网络泛化与稳定性问题的研究者阅读。
我们针对 Cai 和 Wang（2020，arXiv:2006.13318）关于通过狄利克雷能量分析图神经网络（GNNs）过平滑问题的工作提出评论。在温和的谱条件下（包括使用 Leaky-ReLU 激活函数），我们证明节点嵌入的狄利克雷能量随网络深度呈指数级下降；进一步将结果扩展至谱多项式滤波器，并为 Leaky-ReLU 情况提供了简洁证明。在边删除和权重放大实验中，观察到狄利克雷能量上升现象，提示了缓解过平滑的实际途径。
原文摘要 · Abstract (English)
We comment on Cai and Wang (2020, arXiv:2006.13318), who analyze over-smoothing in GNNs via Dirichlet energy. We show that under mild spectral conditions (including with Leaky-ReLU), the Dirichlet energy of node embeddings decreases exponentially with depth; we further extend the result to spectral polynomial filters and provide a short proof for the Leaky-ReLU case. Experiments on edge deletion and weight amplification illustrate when Dirichlet energy increases, hinting at practical ways to relieve over-smoothing.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。