用速度挑战赛加速表格模型预训练，81倍提速且减少数据使用。
Speedrunning Tabular Foundation Model Pretraining
- 修改单文件训练脚本，以最快达到下游指标为目标竞赛。
- 最优方案仅0.92分钟达目标ROC AUC，较基线快81倍，用数据少22倍。
- 开源排行榜支持社区持续贡献与验证优化方法，适合算法改进者。
表格基础模型的预训练成本是研究的主要瓶颈，制约了新架构、先验和优化思路的迭代速度。但目前社区缺乏简单的方法来比较和积累预训练加速成果。我们发起一项针对nanoTabPFN的社区速度挑战赛：参与者修改单文件训练脚本，在单块NVIDIA L40S GPU上，以最小化时间达成子采样的TabArena下游ROC AUC目标。当前最佳记录为0.92分钟，相比74.32分钟的基线实现81倍加速，同时仅使用22倍更少的合成数据集。该速度挑战格式提供了一个简洁协议，使社区能持续添加、验证并叠加预训练优化，排行榜对所有贡献开放。代码与记录见https://github.com/borawhocodess/modded-nanotabpfn。
原文摘要 · Abstract (English)
Pretraining cost is a major bottleneck for research on tabular foundation models, slowing the iteration cycle for new architectures, priors, and optimization ideas. Yet the community lacks a simple way to compare and accumulate pretraining speedups. We introduce a community speedrun for nanoTabPFN: contributors modify a single-file training script and compete to reach a fixed downstream ROC AUC target on subsampled TabArena using one NVIDIA L40S GPU. The current best record reaches the target in 0.92 minutes, an 81x speedup over the 74.32 minute baseline while using 22x fewer synthetic datasets. The speedrun format provides a simple protocol for the community to add, verify, and stack pretraining improvements, with the leaderboard open to contributions. Code and records are available at https://github.com/borawhocodess/modded-nanotabpfn.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。