arXiv:2502.12381cs.LG2025-02

用扩散过程统一处理序列数据,实现高效并行与细节保留。

Linear Diffusion Networks

  • 将序列处理重构为统一的扩散过程,结合自适应扩散与局部非线性更新。
  • 在ImageNet和LRA任务上表现媲美传统模型,支持全时步并行计算。
  • 适合需要长程依赖建模与高效率推理的序列任务,如视频/语音建模。

我们提出线性扩散网络(Linear Diffusion Networks, LDN),将序列数据处理重新诠释为统一的扩散过程。该模型融合自适应扩散模块、局部非线性更新以及受扩散启发的注意力机制,实现了高效的全局信息传播,同时保留精细的时间细节。相较于传统循环与Transformer模型,LDN支持时间步间的完全并行化,并具备强大的多尺度时间表示能力。在多个基准序列建模任务上的实验表明,LDN在ImageNet与LRA任务中均展现出具有竞争力的性能。

原文摘要 · Abstract (English)

We present Linear Diffusion Networks (LDNs), a novel architecture that reinterprets sequential data processing as a unified diffusion process. Our model integrates adaptive diffusion modules with localized nonlinear updates and a diffusion-inspired attention mechanism. This design enables efficient global information propagation while preserving fine-grained temporal details. LDN overcomes the limitations of conventional recurrent and transformer models by allowing full parallelization across time steps and supporting robust multi-scale temporal representations. Experiments on benchmark sequence modeling tasks demonstrate that LDN delivers competitive performance across ImageNet and LRA tasks.

序列建模扩散模型并行计算

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。