大模型训练

一句话总结：困扰社区多年的一个“玄学”现象终于被拆解清楚：在BF16等低精度训练中，FlashAttention并非随机出错，而是在特定条件下会触发有方向的数值偏置。这种偏置借助注意力机制中涌现的相似低秩更新方向被持续放大，最终导致权重谱范数和激活值失控，引发损失函数突然爆炸。论文同时提供了一个几乎无需修改模型、仅在safe softmax中进行的极小改动，…

无需图文配对，几何对齐解锁多模态大模型预训练新范式 在多模态大模型（MLLM）的研发中，一个长期共识是：没有图文对（Image-Text Pairs），就没有多模态能力。为了训练模型理解图像，业界通常需要耗费巨资收集海量图片，并为每张图片生成高质量的文本描述。这种强监督的配对数据，一直被视为多模态训练的基石。 然而，来自港科大（广州）、新加坡国立大学等机构的…

全国首部AI训练数据集质量验收标准公开征集起草单位与专家，构建数据交付新规范 2026年2月，国家数据局等部门发布《关于培育数据流通服务机构 加快推进数据要素市场化价值化的意见》，明确支持数据流通服务机构加强与人工智能企业合作，并鼓励经营主体依托第三方平台开展数据供需对接与交付结算。这标志着数据已进入模型训练与产业应用的核心环节，数据集能否有效支撑特定模型训…

何恺明团队突破性研究：GeoPT用合成动力学预训练，让AI自学物理规律，节省60%仿真数据 静态3D资产缺少动力学信息，而真实的物理仿真标签又极其昂贵——如何高效扩展物理仿真模型的训练？ 何恺明团队的最新论文GeoPT 提出了一种新思路。该研究引入了一种名为动力学提升几何预训练 的全新范式，通过合成动力学 将静态几何“提升”到动态空间，使模型能够在无标签数据…

关键词：计算-通信重叠、块调度、分布式编译器、GPU、Triton、多 GPU 工作负载 通过块级调度在单内核内实现计算与通信的深度重叠 近年来，大语言模型的规模呈指数级增长，训练这些模型需要数百甚至数千块 GPU。在多 GPU 系统中，通信已经取代计算成为主要瓶颈。即使采用 NVLink、NVSwitch 等高速互连技术，AllGather、ReduceS…

在许多大模型与智能体的训练范式中，普遍存在一种“唯结果论”的做法：仅根据最终答案的正确与否给予奖励，正确则得分，错误则得零分。 在单轮问答场景中，这种“只看结果”的机制尚可勉强应对。然而，当任务转变为需要多轮对话、搜索、浏览网页、编写代码、读取文件等复杂操作的长链条任务时，仅用一个比特（对/错）来概括整条复杂的行为轨迹，就显得过于粗糙。 其后果是：那些仅差一…

关键词： MoEBlaze 、内存墙、MoE 训练 、索引化路由 在当今大模型浪潮中，参数规模已突破万亿，训练成本与内存压力成为制约模型规模继续扩大的关键瓶颈。混合专家模型（Mixture-of-Experts, MoE） 因其能够以稀疏激活的方式实现万亿参数级别的模型训练，已成为大规模语言模型的主流架构之一。 然而，MoE 的稀疏性在降低计算密度的同时，也…

2024年底，硅谷和北京的业界人士都在讨论同一个令人不安的话题：Scaling Law似乎正在撞墙。 当时，尽管英伟达的股价仍在飙升，但多方信源显示，包括备受期待的Orion（原计划的GPT-5）在内，新一代旗舰模型在单纯增加参数规模和训练数据后，并未展现出预期的边际效益提升。同时，也有研究认为高质量预训练数据将很快耗尽，甚至预测了明确的时间节点：2028年…

GRPO 是促使 DeepSeek-R1 成功的基础技术之一。最近一两年，GRPO 及其变体因其高效性和简洁性，已成为业内广泛采用的强化学习算法。 然而，随着语言模型能力的不断提升，用户对它们的期待也在发生变化：不仅要回答正确，还要在各种不同场景下表现出符合多样化人类偏好的行为。为此，强化学习训练流程开始引入多种奖励信号，每一种奖励对应一种不同的偏好，用来共…

当 OpenAI 前 CTO Mira Murati 创立的 Thinking Machines Lab 推出 Tinker 时，它为大模型训练带来了一种范式革新。Tinker 将复杂的训练过程抽象为前向传播、反向传播、优化器更新等一系列基础原语，从而将算法设计与分布式训练基础设施解耦。这使得训练大模型变得如同调用函数一样简单，标志着行业正从“作坊式炼丹”向…