用ReLU函数高效分解非负稀疏对称矩阵，提升计算效率与精度。
An Efficient Alternating Algorithm for ReLU-based Symmetric Matrix Decomposition
- 基于ReLU构建非线性对称矩阵分解模型，利用低秩结构增强表达能力。
- 提出加速交替部分Bregman算法，无需全局L-光滑常数估计，收敛更快。
- 在合成与真实数据集上验证有效，适合处理大规模稀疏矩阵问题。
对称矩阵分解是机器学习中的活跃研究方向。本文聚焦于通过修正线性单元（ReLU）激活函数，挖掘非负稀疏对称矩阵的低秩结构。我们提出了基于ReLU的非线性对称矩阵分解（ReLU-NSMD）模型，引入加速交替部分Bregman（AAPB）方法求解，并给出了算法的收敛性分析。该算法基于Bregman近端梯度框架，克服了经典近端梯度算法中需估计全局L-光滑常数的挑战。在合成数据和真实数据集上的数值实验验证了模型与算法的有效性。
原文摘要 · Abstract (English)
Symmetric matrix decomposition is an active research area in machine learning. This paper focuses on exploiting the low-rank structure of non-negative and sparse symmetric matrices via the rectified linear unit (ReLU) activation function. We propose the ReLU-based nonlinear symmetric matrix decomposition (ReLU-NSMD) model, introduce an accelerated alternating partial Bregman (AAPB) method for its solution, and present the algorithm's convergence results. Our algorithm leverages the Bregman proximal gradient framework to overcome the challenge of estimating the global $L$-smooth constant in the classic proximal gradient algorithm. Numerical experiments on synthetic and real datasets validate the effectiveness of our model and algorithm.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。