提出新型能量函数，让记忆网络存更多数据还能精准找回。
Dense Associative Memory with Epanechnikov Energy
- 用埃潘尼科夫核设计新能量函数，避免复杂计算
- 记忆容量达指数级，且能精确恢复所有模式
- 自发产生新颖记忆，适合大容量存储与生成任务
我们为密集关联记忆（Dense Associative Memory, DenseAM）网络提出一种新型能量函数——对数求和修正线性单元（LSR），其灵感来自最优核密度估计。与常用的对数求和指数（LSE）函数不同，LSR基于埃潘尼科夫核，可在不使用指数分离函数的情况下实现指数级记忆容量并完成精确记忆检索。此外，该方法在保持完美模式恢复能力的同时，引入大量新的局部极小点（即涌现记忆），这是此前DenseAM研究中未曾出现的特性。实验表明，基于LSR的能量函数拥有显著更多的局部极小点（记忆），且其对数似然值与基于LSE的模型相当。在图像数据集上的分析显示，这些涌现记忆具有一定的创造性和新颖性，暗示该方法在大规模记忆存储与生成任务方面具备潜力。
原文摘要 · Abstract (English)
We propose a novel energy function for Dense Associative Memory (DenseAM) networks, the log-sum-ReLU (LSR), inspired by optimal kernel density estimation. Unlike the common log-sum-exponential (LSE) function, LSR is based on the Epanechnikov kernel and enables exact memory retrieval with exponential capacity without requiring exponential separation functions. Moreover, it introduces abundant additional \emph{emergent} local minima while preserving perfect pattern recovery -- a characteristic previously unseen in DenseAM literature. Empirical results show that LSR energy has significantly more local minima (memories) that have comparable log-likelihood to LSE-based models. Analysis of LSR's emergent memories on image datasets reveals a degree of creativity and novelty, hinting at this method's potential for both large-scale memory storage and generative tasks.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。