Decoupled DiLoCo
-
大模型训练可靠性革命：Decoupled DiLoCo将有效算力从40%飙升至86%，CAP定理颠覆SPMD范式
一、大模型预训练的可靠性危机：从 SPMD 的致命缺陷说起 1.1 SPMD 范式的紧耦合本质与可靠性瓶颈 论文明确指出：“随着计算规模的扩大，原本罕见的硬件故障变成了日常事件。对于需要运行数月的大模型预训练任务而言，频繁的中断会导致大量的停机时间和计算浪费。” 这一论断精准揭示了当前大模型训练基础设施的核心痛点。 当训练集群从数千芯片扩展到数十万甚至数百万…