容错

弹性 AI 预训练已经推进到了下一个前沿！没有意外：来自谷歌。 据介绍，他们提出的 Decoupled DiLoCo 是一种革命性的分布式训练技术，能够利用全球各地的异构硬件进行训练，并且即使当硬件发生故障时，系统也不会停止运行！ 这项重磅研究成果引发了广泛关注，论文 Leads 作者之一的 Arthur Douillard 在 X 上的分享推文获得了超 2…