大模型训练
-
清华团队破解FlashAttention低精度训练玄学：BF16下数值偏置如何引爆大模型训练
一句话总结：困扰社区多年的一个“玄学”现象终于被拆解清楚：在BF16等低精度训练中，FlashAttention并非随机出错，而是在特定条件下会触发有方向的数值偏置。这种偏置借助注意力机制中涌现的相似低秩更新方向被持续放大，最终导致权重谱范数和激活值失控，引发损失函数突然爆炸。论文同时提供了一个几乎无需修改模型、仅在safe softmax中进行的极小改动，…
-
智算新纪元：2026超万卡集群技术演进与产业协同全景解析
自ChatGPT发布以来，全球科技产业迎来大模型创新浪潮，数据作为新生产要素、算力作为新基础能源、大模型作为新生产工具的格局已全面成型，各行各业从“+AI”向“AI+”的转型进入深水区。 2024至2026两年间，大模型参数量从万亿级向十万亿级跨越，多模态、超长序列、实时交互等场景的爆发式增长，推动智算基础设施迎来代际升级，超万卡集群已从“军备竞赛标配”转变…
-
AI大神Andrej Karpathy开源92个高质量信息源：从nanoGPT到RSS订阅，打造深度学习知识体系
Andrej Karpathy 是 AI 领域公认的大神。他是 OpenAI 的创始成员，之后被马斯克挖走，领导了特斯拉自动驾驶团队。离开特斯拉后，他回到 OpenAI 参与了 GPT-4 的后续研发。 现在，他成立了一家 AI 教育公司 Eureka Labs，并经常在 X 和 YouTube 上活跃。如果你想学习 AI，尤其是技术原理，Andrej Ka…
-
2026智算时代：GPU、AI服务器与算力架构的协同革命
2026年，随着“东数西算”工程的深化落地、智算中心的规模化部署以及大模型技术的持续迭代，算力已成为驱动数字经济发展的核心生产要素。GPU作为释放算力的核心引擎，AI服务器作为承载算力的核心硬件，三者深度协同，共同支撑起人工智能、高性能计算（HPC）、智能制造等各类高算力需求场景。 本文基于2026年的行业现状，结合最新技术规格与市场数据，系统性地拆解算力、…
-
DAC-RL：首个分治推理强化学习训练框架，突破链式思维局限，实现6.3%推理性能跃升
关键词：分治推理、强化学习、测试时可扩展性、链式思维、大语言模型训练 近年来，大型语言模型（LLMs）在复杂推理任务上展现出惊人能力，尤其是基于链式思维（Chain-of-Thought, CoT） 的逐步推理方法，已成为解决数学、逻辑与编程问题的标准范式。 然而，随着问题难度提升至竞赛级别（如国际数学奥林匹克、高阶定理证明等），传统 CoT 往往显得力不从…
-
RLVR/GRPO组内优势估计的系统性偏差：揭秘大模型训练中的隐藏陷阱
近年来，大模型在数学推理、代码生成等任务上取得突破，其背后一个关键技术是RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励的强化学习）。 简单来说，RLVR并非让模型被动接受人工评分，而是让模型主动生成多种解法，并依据可验证的客观规则（如答案是否正确）进行自我改进。这种通过反复试错来提升性能的模…
-
国产算力新纪元：阿里真武810E GPU性能超越英伟达A800，开启万卡集群时代
前言：算力突围，国产GPU迎来里程碑式突破 2026年1月29日，中国算力产业迎来历史性时刻——阿里平头哥官网上线一款名为“真武810E”的高端AI芯片，这款定位为并行处理单元（PPU）的GPU算力芯片，以“性能超越英伟达A800、支持万卡集群部署、全栈自研软硬件”三大核心亮点，瞬间引爆科技圈与资本市场。 这并非一次仓促的新品亮相，而是一场历经六年秘密研发、…
-
千P级智算中心建设方案：AI大模型时代的算力基石
一、算力中心建设方案 (一) 建设规模 AI大模型时代已经来临，人工智能技术的创新与变革催生出几何级增长的算力需求。据OpenAI数据显示，算力需求每3至4个月便需翻倍。大模型虽增强了AI技术的通用性，助力行业AI普惠化，但其参数量已攀升至数千亿级别，训练数据集规模亦高达TB级别。通常，完成单个大模型的训练即需投入超过200 PFlops的智能算力资源。综合…
-
强化学习云：大模型训练下半场的新引擎与基础设施革命
2024年底，硅谷和北京的业界人士都在讨论同一个令人不安的话题：Scaling Law似乎正在撞墙。 当时，尽管英伟达的股价仍在飙升，但多方信源显示，包括备受期待的Orion（原计划的GPT-5）在内，新一代旗舰模型在单纯增加参数规模和训练数据后，并未展现出预期的边际效益提升。同时，也有研究认为高质量预训练数据将很快耗尽，甚至预测了明确的时间节点：2028年…
-
Tinker革新大模型训练：从“作坊炼丹”到“工业微调”的API革命
当 OpenAI 前 CTO Mira Murati 创立的 Thinking Machines Lab 推出 Tinker 时，它为大模型训练带来了一种范式革新。Tinker 将复杂的训练过程抽象为前向传播、反向传播、优化器更新等一系列基础原语，从而将算法设计与分布式训练基础设施解耦。这使得训练大模型变得如同调用函数一样简单，标志着行业正从“作坊式炼丹”向…
