用小波变换让位置编码感知信号特征，提升时间序列建模效果
DyWPE: Signal-Aware Dynamic Wavelet Positional Encoding for Time Series Transformers
- 基于小波变换从原始信号直接生成位置嵌入，实现信号感知的位置编码
- 在10个数据集上优于现有方法，长序列和生物信号上提升更显著
- 适合处理复杂、非平稳的时间序列，如医疗信号与金融数据
当前Transformer中的位置编码方法本质上是信号无关的，仅依赖序列索引获取位置信息，忽略了信号本身的特性。这一缺陷在时间序列分析中尤为突出，因为信号在多个时间尺度上表现出复杂的非平稳动态。我们提出动态小波位置编码（DyWPE），一种新型的信号感知框架，通过离散小波变换（DWT）直接从输入时间序列生成位置嵌入。在十个不同时间序列数据集上的全面实验表明，DyWPE始终优于现有最先进位置编码方法，尤其在长序列和复杂生物医学信号上表现突出。
原文摘要 · Abstract (English)
Existing positional encoding methods in transformers are fundamentally signal-agnostic, deriving positional information solely from sequence indices while ignoring the underlying signal characteristics. This limitation is particularly problematic for time series analysis, where signals exhibit complex, non-stationary dynamics across multiple temporal scales. We introduce Dynamic Wavelet Positional Encoding (DyWPE), a novel signal-aware framework that generates positional embeddings directly from input time series using the Discrete Wavelet Transform (DWT). Comprehensive experiments on ten diverse time series datasets demonstrate that DyWPE consistently outperforms state-of-the-art positional encoding methods, with particularly significant improvements on longer sequences and complex biomedical signals.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。