针对跨数据中心训练，优化通信瓶颈下的资源分配，提速近三成。

CBA: Communication-Bound-Aware Cross-Domain Resource Assignment for Pipeline-Parallel Distributed LLM Training in Dynamic Multi-DC Optical Networks

• 根据通信负载动态分配跨域资源，降低通信延迟
• 迭代时间减少31.25%，阻塞请求下降13.20%
• 适合大规模分布式大模型训练场景

我们提出一种面向多数据中心光网络中流水线并行分布式训练的通信瓶颈感知跨域资源分配框架，通过动态调整资源分配策略，在保持模型精度的同时，将迭代时间降低31.25%，阻塞请求数减少13.20%，显著优于现有基线方法。该方法有效缓解了跨数据中心训练中的通信瓶颈问题，提升了系统整体吞吐效率。

原文摘要 · Abstract (English)

We propose a communication-bound-aware cross-domain resource assignment framework for pipeline-parallel distributed training over multi-datacenter optical networks, which lowers iteration time by 31.25% and reduces 13.20% blocking requests compared to baselines.

Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。