为异步医疗时间序列设计了结构感知的注意力机制，提升预测性能。
Structure-Aware Set Transformers: Temporal and Variable-Type Attention Biases for Asynchronous Clinical Time Series
- 引入时间局部性和变量类型亲和力的软注意力偏置，恢复原始结构信息。
- 在3个ICU预测任务中AUC最高达0.9164，显著优于基线模型。
- 可解释的时序尺度与变量交互矩阵，适合临床决策支持场景。
电子健康记录（EHR）是不规则、异步的多变量时间序列。随着时间序列基础模型越来越多地以事件为单位进行标记而非离散化时间，输入布局成为关键设计选择。网格法暴露了时间×变量结构，但需插补或缺失掩码，可能引入误差或采样策略捷径。点集标记避免离散化，但丢失了变量内轨迹和时间局部的跨变量上下文（图1）。我们通过在结构感知集变换器（STAR）中加入参数高效的软注意力偏置，恢复这些先验：一个具有可学习时间尺度的时序局部性惩罚项 -|Δt|/τ，以及来自学习特征兼容矩阵的变量类型亲和力 $B_{s_i,s_j}$。我们在10种深度融合策略上进行基准测试（图2）。在三个ICU预测任务中，STAR-Set取得AUC/APR分别为0.7158/0.0026（危重病风险）、0.9164/0.2033（死亡率）、0.8373/0.1258（血管活性药物使用），优于常规网格、事件时间网格及先前集基线模型。学习到的τ和B提供了时序上下文与变量交互的可解释总结，为上下文感知的时间序列模型提供实用插件。
原文摘要 · Abstract (English)
Electronic health records (EHR) are irregular, asynchronous multivariate time series. As time-series foundation models increasingly tokenize events rather than discretizing time, the input layout becomes a key design choice. Grids expose time$\times$variable structure but require imputation or missingness masks, risking error or sampling-policy shortcuts. Point-set tokenization avoids discretization but loses within-variable trajectories and time-local cross-variable context (Fig.1). We restore these priors in STructure-AwaRe (STAR) Set Transformer by adding parameter-efficient soft attention biases: a temporal locality penalty $-|Δt|/τ$ with learnable timescales and a variable-type affinity $B_{s_i,s_j}$ from a learned feature-compatibility matrix. We benchmark 10 depth-wise fusion schedules (Fig.2). On three ICU prediction tasks, STAR-Set achieves AUC/APR of 0.7158/0.0026 (CPR), 0.9164/0.2033 (mortality), and 0.8373/0.1258 (vasopressor use), outperforming regular-grid, event-time grid, and prior set baselines. Learned $τ$ and $B$ provide interpretable summaries of temporal context and variable interactions, offering a practical plug-in for context-informed time-series models.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。