万亿参数训练不再难：GraphPP用图变换彻底消除流水线气泡，加速70%

随着模型参数规模跨越万亿大关，分布式训练已演变为深度学习领域的“基础设施新范式”。然而，流水线并行在突破单张GPU显存极限的同时，也引入了一个棘手的性能杀手——“气泡”问题：GPU在等待跨阶段依赖时大量陷入空转，严重稀释了昂贵算力的实际投入。

上图揭示了大模型训练中一个核心的权衡循环（Tradeoff Cycle），清晰展现了模型规模增长所引发的连锁式挑战。当模型体量不断膨胀时，首先遭遇的瓶颈是“内存装不下”（Can’t fit in memory）；为了解决这一困境，业界普遍采用并行或卸载策略（Parallelize/Offload），将模型切分到多台设备或卸载至CPU内存；然而，并行化会暴露出跨设备通信的开销，并降低计算效率，导致进入“计算效率低下/通信暴露”阶段；为了弥补效率损失，不得不进一步增加计算负载，而更高的资源投入又会反过来放大内存压力，再次回到“内存不足”的起点，从而形成一个恶性循环。这个循环正是大模型训练优化中的核心痛点，也是GraphPP这类编译级调度方案试图打破的关键矛盾。

从1F1B到Zero-Bubble，研究者们不断设计精巧的手动调度策略来压缩气泡，却在反向传播控制、CUDA流管理以及与编译器的兼容性之间陷入了新的困境。在PyTorch Europe 2026大会上，Meta Superintelligence Labs提出的GraphPP给出了一个范式级别的答案：它将流水线并行问题彻底转化为计算图变换问题。

通过函数式图捕获与AOTAutograd，GraphPP能够自动拆解正向与反向计算、重新排列节点以实现通信重叠，让编译器接管所有底层复杂性。开发者无需手写任何一行反向逻辑，即可在DeepSeek-V3 16B模型上获得70.8%的端到端加速。 图即程序，变换即优化——这一哲学正在为万亿参数时代的训练效率写下全新的注脚。

• Graph based Pipeline Parallelism
• 8000字，阅读33分钟，播客26分钟

本文深度解读了GraphPP的技术内核：它通过图变换自动完成B/W拆分，实现了零气泡流水线并行。GraphPP将高级调度表达为编译器优化流程，在DeepSeek-V3 16B MoE模型上，DualPipeV调度相对基线提速70.8%，其中multiplex_fw_bw图变换贡献了关键的计算-通信重叠。

本文系统梳理了从Pipeline Bubble到ZB2P、DualPipeV的演进脉络，深入剖析了GraphPP通过调度IR和图变换API统一计算与通信的架构设计，并指出其“编译器优先”的设计如何系统性解决了手动反向、流管理复杂、组合性差这三大行业痛点。

GraphPP正推动大模型训练从手工作坊迈向编译器驱动的自动化时代。

unsetunset本文目录unsetunset

• 一、流水线并行的承诺与困境
• 二、调度优化的演进：从1F1B到ZB2P
• 三、专家混合模型的特殊挑战：DualPipeV
• 四、现有方案的三大痛点
• 五、GraphPP：图驱动范式的突破
• 5.1 完全的反向控制权
• 5.2 无需手动线程管理
• 5.3. 编译器优先的设计
• 六、GraphPP工作流详解
• 七、调度IR：统一描述流水线行为
• 八、实验验证：惊人的性能提升
• 九、本质洞察：图即程序，变换即优化
• 结语：图驱动并行的未来

unsetunset一、流水线并行的承诺与困境unsetunset

流水线并行（Pipeline Parallelism，PP）的核心思想是将模型切分成多个阶段，分布到不同设备上执行。理想情况下，这能突破单卡显存限制，让超大模型训练成为可能。

上图展示了大模型训练中两种核心并行策略：按模型维度切分（左图，如张量并行TP）和按模型深度切分（右图，即流水线并行PP）。左侧的维度切分将每一层的权重按特征维度拆分到所有GPU上，每个GPU处理所有层的部分计算，层间需要频繁的全局通信，适用于显存受限但能承载部分维度的场景。右侧的流水线并行则按模型深度分层，将连续的层分配给不同GPU（例如GPU0处理层0-1，GPU1处理层2-3），数据以流水线方式在设备间流动，仅需相邻stage间的轻量通信，大幅降低了全局通信开销——这也是流水线并行能够支撑超大规模模型跨节点训练的关键优势。

但现实并不完美。最棘手的问题是 Pipeline Bubble（流水线气泡） ——设备在等待前序阶段完成计算时产生的空闲时间。这些“气泡”严重拖累了GPU利用率，成为流水线并行效率的天花板。

这张图揭示了流水线并行（PP）的核心低效问题——流水线气泡（Pipeline Bubbles）。左侧展示了模型按深度切分的流水线并行架构：不同GPU分别负责模型的连续层（如GPU0处理前两层、GPU1处理中间两层）。右侧的时间调度图直观呈现了气泡问题：横轴为时间，纵轴为设备，灰色部分代表设备空闲（Idle）。由于前向传播时，数据需要从GPU0依次流向GPU3，后续设备必须等待；反向传播时梯度又需要反向回流，导致大部分设备在大部分时间处于空闲状态，形成大片“气泡”。例如GPU0仅在最前和最后有任务，中间全程闲置，硬件利用率被大幅拉低——这也是Zero-bubble PP（如ZB2P）等优化方案要解决的核心痛点。

unsetunset二、调度优化的演进：从1F1B到ZB2Punsetunset

为了压缩气泡，研究者提出了各种调度策略。最经典的是1F1B（一个Forward接一个Backward），通过在稳态阶段交替执行前向和反向来减少空闲。

上图展示了ZB2P调度的核心设计，专为流水线并行的气泡问题优化。上方是4设备的时空调度表，横轴为时间，蓝、青、绿分别代表前向（F）、反向（B）、权重梯度（W）任务，米黄色为优化器步骤；红框标出的初始阶段是流水线填充期，设备按对角线依次启动微批次任务。填充完成后，通过支持2个待处理反向任务、交错前向/反向/权重梯度执行，几乎消除了传统流水线的空闲气泡，设备实现持续运行。下方文字与小图揭示了关键优化逻辑：微批次越小，后续设备启动越快，流水线填充延迟越短，整体硬件利用率越高——这是零气泡流水线并行的核心调度策略之一。

更进一步的是 ZB2P（Zero-bubble Pipeline Parallelism with 2x pending backward） 。其核心洞察是：反向传播可以拆解为两部分——

• B（Backward Input Grad） ：计算对输入的梯度，需要传递给前一个设备
• W（Weight Grad） ：计算对权重的梯度，仅用于本地参数更新

ZB2P 零气泡流水线并行调度，其核心原理是利用多微批次填充机制来彻底消除传统流水线中的“气泡”空闲问题。图中红框标出了 Device1 和 Device2 的初始前向阶段，它们通过连续发送微批次来快速填满整个流水线。下方的示意图揭示了关键优化逻辑：左侧对角线表明，微批次越小，后续设备启动得越快，流水线填充延迟越低；右侧橙色框则展示了如何用更多微批次持续填充前向间隙，使得各设备能无空闲地交错执行前向（F）、反向（B）和权重（W）任务，仅在末尾保留少量优化器步骤，从而大幅提升硬件利用率。

另一个红框标出了 Device3 和 Device4 的初始执行阶段，可以观察到 Device4 主动延迟了自身的 F2 前向任务，转而优先执行 B1 反向任务。下方的示意图中，左侧对角线再次强调了微批次大小与填充延迟的反比关系；中间的橙框展示了用更多微批次填充前向间隙，确保设备持续运转；右侧则明确指出，Device4 通过延迟自身前向任务、优先处理反向任务，快速解锁了 Device3 的依赖关系，从而消除流水线气泡。这种“以局部前向延迟换取整体流水线流畅度”的优先级调度策略，极大地提升了硬件利用率。图中红圈标注的 B 与 W 表明，反向传播被拆分为两个独立的阶段。下方的计算图进一步阐释了这一设计：前向由线性层和激活函数组成，反向则被解耦为输入梯度（B）与权重梯度（W）两条独立的计算路径。这种拆分让调度器能够灵活交错安排 F、B、W 任务，例如优先执行 B 以解锁下游设备，同时延迟 W 来填充间隙，从而几乎彻底消除了传统流水线中的空闲气泡，大幅提升硬件利用率。这是 ZB2P 实现“零气泡”的关键设计。

红框标注的 Device3/4 执行段，直观体现了依赖解耦带来的效果。下方的反向计算图将反向传播拆分为独立的 B（输入梯度）和 W（权重梯度）路径，右侧说明进一步点明关键：Device3 的 B1 任务仅依赖 Device4 的 B1 输入梯度，无需等待其 W1 权重梯度完成。这种解耦机制让下游设备可以优先执行 B 任务，快速解锁上游设备的反向流程，而 W 任务则可延迟执行以填充流水线间隙，彻底消除了传统流水线中因反向依赖导致的空闲气泡，大幅提升硬件利用率。

ZB2P 正是利用这一特性，优先执行能“解锁”前序设备的 B 计算，而将 W 计算延后以填充气泡间隙。正如前几页 PPT 所示：“Device 4 prioritizes unlocking Device 3 by delaying W。 ” 同时，通过增加微批次数量（Fill gaps with more microbatches）来进一步压缩空闲时间。

三、专家混合模型的特殊挑战：DualPipeV

对于 MoE（Mixture of Experts）架构，情况更为复杂。MoE 层包含通信密集的 All-to-All Dispatch/Combine 操作。

这是专为 MoE 模型设计的 DualPipeV 流水线并行调度方案。上方是 4 设备的时间维度调度表，用橙、绿、蓝三色区分前向、反向输入及权重梯度任务，其中橙绿重叠段表示前后向任务重叠执行，数字标注了 stage 与微批次，通过交错排布大幅消除流水线气泡。下方的双层流水线调度图展示了计算（112 个 SM）与通信（20 个 SM）的并行执行：MLP、Attention 的前向/反向计算，与 MoE 的 Dispatch/Combine 通信及 PP 跨设备通信任务同步进行，使得计算与通信资源能被同时利用。这种细粒度的双流水线调度，专门适配 MoE 的通信密集型特性，能最大化 GPU 利用率，是 GraphPP 编译优化的核心调度策略之一。

DualPipeV 调度专门针对这一场景设计，通过细粒度的计算-通信重叠来隐藏延迟。

上图展示了 eager 模式下实现前后向重叠（overlapped forward-backward）的调度方式与核心痛点。上方采用双 Python 线程分别处理 Autograd 反向和前向任务，通过线程间调度，让前向的通信 Dispatch(F)、计算 MLP(F)，与反向的 MLP(B)、通信 Dispatch(B)、MLP(W) 交错执行；下方的调度图进一步展示了 GPU 侧的硬件并行：计算（112 个 SM）与通信（20 个 SM）任务在不同硬件资源上同时运行，前向（黄色）与反向（绿色）任务的重叠执行，减少了流水线气泡。然而，右侧红色框点明了关键局限：跨 nn.Module 边界的细粒度重叠难以协调。例如 DeepSeek 的 DualPipe 方案，需要模型作者手动实现反向传播逻辑，这大幅增加了开发成本。这也凸显了 GraphPP 这类基于编译的图优化方案的价值——无需侵入式修改模型代码，即可自动实现高效的前后向重叠。

上图揭示了实现这种重叠的困难所在：需要协调 Python 线程、手动管理 Autograd，并且“Coordinating fine-grained overlap across nn.Module boundaries is difficult”。DeepSeek-AI 的 DualPipe 实现甚至要求模型作者手写反向传播逻辑——这对普通开发者而言门槛极高。

四、现有方案的三大痛点

当前方法的核心问题有三点：

第一，对反向传播的控制力有限。 想要实现 ZB2P 或 DualPipeV 这样的高级调度，往往需要手动编写反向逻辑，不仅繁琐且容易出错。 下面展示的代码片段说明了这一点——开发者必须继承torch.autograd.Function 并精细控制梯度计算顺序，还要应对与 torch.compile 和激活检查点的兼容性问题。

这是 Zero-bubble 流水线并行中反向传播分解的手动实现方式：基于 Megatron 分支，通过自定义 torch.autograd.Function 重写 backward 方法，延迟权重梯度（W）计算、仅返回输入梯度（B），以实现反向分解调度。但这种方式需要手动编写反向逻辑，开发成本高。图中展示了两种反向传播分解的实现方式：上方的 Zero-bubble 方案通过自定义 torch.autograd.Function 手动实现反向逻辑；下方的 torch.distributed.pipelining 则用 autograd.grad 自动拆分输入与权重梯度。然而，两种方式都面临与 torch.compile、梯度检查点的兼容性难题，限制了易用性与扩展性。

第二，线程与流管理复杂。 实现计算-通信重叠需要精细的 CUDA 流调度和多线程协调，这超出了大多数模型开发者的舒适区。

第三，组合性挑战。 复杂的模型代码分支、激活检查点 API 的不兼容、以及与 torch.compile 的冲突，让高级调度策略难以落地。

五、GraphPP：图驱动范式的突破

GraphPP 的核心思想是：将流水线并行问题转化为计算图变换问题 。这一范式转移带来了三个根本性优势：

5.1 完全的反向控制权

通过函数式图捕获 API 和 AOTAutograd，GraphPP 能够自动获得完整的正向和反向计算图。B/W 拆分不再是手写 autograd.Function，而是对计算图的节点依赖分析。

上图展示了 MLP 层的反向传播计算图分解过程，核心目标是提取输入梯度 grad_x 的计算路径。左侧是 MLP 前向代码，包含门控投影、上投影、SiLU 激活、门控乘积与下投影；右侧为反向传播计算图，从输出梯度 grad_out 出发逐层反向推导，通过“仅保留通向 grad_x 的节点”来简化计算图，剔除权重梯度（如 grad_w1、grad_w3）的计算分支，仅保留输入梯度的计算链，最终将 grad_x 拆分为两条路径的和，实现反向图的轻量化优化，减少计算冗余。另一张图则聚焦于权重梯度计算。左侧是 MLP 前向逻辑，包含门控投影、上投影、SiLU 激活、门控乘积与下投影；右侧是反向计算图，通过图变换将反向过程拆分为输入梯度（grad_x）与权重梯度（grad_w1/2/3）两条独立路径。本图聚焦权重梯度计算，剔除了通向 grad_x 的冗余节点，仅保留从 grad_out 到 grad_w2、grad_w1、grad_w3 的计算链（如 grad_w2 由 h.T @ grad_out 得到，grad_w1/3 由 x.T 与中间梯度计算），实现反向图的轻量化拆分，适配不同场景的梯度计算需求。

如上图所示，该过程只需标记哪些节点通向 grad_x（B 部分）或 grad_w（W 部分），编译器就能自动完成拆分。

5.2 无需手动线程管理

5.2. 图变换优化：多路复用与重叠调度

在主流线程之外执行重叠调度，使得流的管理从必需变为一种可选的配置。

下图演示了如何将前向与反向计算图通过“多路复用”机制整合为单一的、不相交的图，随后对节点重新排序以实现最优的重叠执行——这一切均在图计算层面完成，无需侵入模型代码。

针对MLP层的前向与反向传播，图变换的核心优化在于将这两个流程复用为一个不相交的计算图。左侧的前向图完整展示了MLP的计算链路，涵盖了门控投影、SiLU激活函数、门控乘积以及下投影等操作，并标注了为反向传播所保存的中间激活值。右侧的反向图则被拆解为两条独立路径：输入梯度（grad_x）计算与权重梯度（grad_w1/2/3）计算，通过明确的拆分边界实现了计算图的解耦。这样的设计使得前向与反向的计算流能够高效地重叠执行，显著提升了训练过程中的并行度与内存利用率，是优化Transformer中MLP层性能的关键手段。

具体而言，左侧前向传播以w1、x、w3等为输入，依次经过门控投影、SiLU激活、门控乘积与下投影，最终输出out并保存中间激活值。右侧反向传播则以这些保存的激活值、权重及grad_out为输入，推导出输入梯度grad_x与权重梯度grad_w1/2/3。其核心思想是将前向与反向多路复用为单个不相交的计算图并进行重排序，使得前后向计算流可以重叠执行，从而提升硬件并行度与内存利用率，适配高效训练调度。

5.3. 编译器优先的设计理念

一旦模型具备了可追踪性，便无需修改任何代码。GraphPP 与 Inductor 编译器实现了深度集成，能够开箱即用地提供高性能支持。

六、GraphPP 工作流详解

基于图的流水线并行（PP）构建大模型训练流程的方法，共分为五个步骤：首先将模型切分为多个stage；其次对每个stage进行并行化处理；接着编译生成前向与反向计算图；然后应用前后向拆分、重叠等图变换优化；最后集成到训练器中，或使用torch.pipelining runtime来运行。右侧的分层GPU部署方案融合了FSDP、上下文并行（CP）、张量/序列并行（TP/SP）、专家并行（EP）等多种范式，并搭配Inductor编译器，以此实现高效的大模型训练调度与优化。

上图勾勒出了 GraphPP 的五步工作流：

• 第一步：将模型切分为阶段。 这是流水线并行的基础，决定了跨设备的工作负载分布。
• 第二步：并行化每个阶段。 为每个阶段应用 FSDP 等数据并行策略。
• 第三步：编译获得正反向图。 使用 AOTAutograd 追踪并捕获完整的计算图。
• 第四步：应用图变换实现调度。 这是 GraphPP 的核心创新所在，包括：
  • B/W 拆分：将反向图分解为 dl（输入梯度）和 dW（权重梯度）子图。
  • FSDP 通信拆分：将 All-Gather 和 Reduce-Scatter 等集合通信操作拆分到合适位置。
  • 正向-反向图多路复用：将不同阶段的 F 和 B 图融合，并通过节点重排实现重叠。
• 第五步：集成到训练器。 使用 torch.pipelining 运行时或自定义训练循环执行调度。

七、调度 IR：统一描述流水线行为

GraphPP 设计了一套简洁的调度中间表示（IR），如下图所示：

基于图的流水线并行（PP）调度的中间表示（IR）。上方是4个设备的时间维度调度表，以不同颜色区分前向（橙）、反向输入梯度（绿）、反向权重梯度（蓝）及前后向重叠操作，数字标注stage与微批次，直观展现多设备流水化执行的任务排布与重叠优化，减少空闲气泡。下方定义了标准化IR指令集，涵盖stage/微批次粒度的前向、反向（分输入/权重梯度）、前后向重叠，以及参数分片、梯度规约、通信收发等操作，为流水线并行的调度与执行提供了清晰的抽象，支撑高效大模型训练调度。

• iFj：运行阶段 i 的前向，处理微批次 j
• iBj：运行阶段 i 的完整反向
• iIj / iWj：分别运行输入梯度计算和权重梯度计算
• (iFj; mBk)：同时运行阶段 i 的前向和阶段 m 的反向
• Unshard i / Reshard i：FSDP 参数的分片与聚合操作
• iSEND_Fj / iRECV_Fj：跨 PP 阶段的通信原语

这套 IR 让复杂的调度逻辑变得可读、可组合、可验证。

上方是 4 设备的时间维度调度表，以橙、绿、蓝等颜色区分前向、反向输入梯度、反向权重梯度及前后向重叠操作，数字标注 stage 与微批次，直观展示多设备流水化任务排布，通过前后向重叠消除空闲气泡。下方左侧是仅含计算的 PP IR，按 step 列出各 rank 的前向（F）、反向输入（I）、反向权重（W）操作；右侧是加入 SEND/RECV 通信指令的增强版 IR，补全了跨 rank 数据收发逻辑，解决了纯计算 IR 无法表达通信依赖的问题，为流水线并行提供了从计算到通信的统一调度抽象，支撑高效大模型训练。

上图展示了从纯计算 IR 到增补通信操作的完整 IR 的转换过程，清晰地分离了计算与通信关注点。

前向-反向联合计算图的划分流程

该流程的核心目标在于优化显存占用与计算效率，具体分为三个步骤：首先，构建一个联合的FX计算图，该图以params/inputs/output_grads作为输入，包含fw/bw ops计算逻辑，并输出outputs/grads；接着，应用激活重计算（AC）与分桶优化策略，通过插入recompute_ops节点，提前规划好激活值的重新计算路径；最后，将整个联合图拆分为独立的前向（Fw）子图和反向（Bw）子图。其中，前向子图接收参数与输入，输出计算结果及保存的激活值；反向子图则利用保存的激活值与输出梯度，执行重计算和反向操作，最终生成输入与参数的梯度。

这种划分方式构成了流水线并行（如PipeDream）和显存优化的核心支撑。它通过解耦前向与反向计算，实现了微批次（microbatch）级别的灵活调度，在计算效率与显存占用之间取得了良好平衡。具体操作以阶段i为单位：首先执行一次Unshard Stage i操作，将分片后的参数恢复为完整参数；随后，循环处理N个微批次，依次执行前向（iFj）或反向（iBj）计算；最后，统一执行ReduceGrad Stage i操作来聚合梯度。这种设计使得参数的“分片-还原”以及梯度聚合操作仅在每个阶段的首尾各执行一次，避免了在每个微批次中重复进行，从而大幅降低了跨设备的通信频率，显著提升了流水线并行的整体计算效率，是显存与通信优化的关键技术手段。

FSDP的关键优化：拆分计算图，提升执行效率

FSDP（全分片数据并行）的一个关键优化点在于，将包含通信操作的计算图拆分为多个独立的子图，以提升执行效率。具体来看，左侧的前向图（Fw Graph）被拆分为两部分：一部分是无通信的前向计算子图，负责处理分片参数并执行前向算子；另一部分是单独的参数收集子图，通过gather/all_gather操作还原完整参数。右侧的反向图（Bw Graph）同样被拆分：一个是无通信的反向计算子图，利用保存的激活值和梯度计算输入梯度与未分片参数的梯度；另一个是单独的梯度归约子图，通过all_reduce/reduce_scatter完成梯度的聚合与分片。

这种拆分方式将原本分散在各处的通信操作集中处理，有效减少了跨设备通信的频率。同时，它使得前向/反向计算与通信操作能够独立调度，从而大幅提升了FSDP在大规模模型训练中的计算效率与显存利用率。

反向传播的关键优化：拆分输入梯度与参数梯度

反向传播的优化核心在于，将反向图（Bw Graph）进一步拆分为输入梯度（dl）与参数梯度（dW）两个独立的子图。左侧的矩阵乘法示例清晰地区分了前向、dl（计算输入梯度）和dW（计算权重梯度）的计算逻辑。原本的反向图需要同时执行激活重计算、dl和dW操作，并输出输入梯度与未分片参数梯度。拆分之后，dl图会先接收前向激活与输出梯度，通过重计算和dl算子生成输入梯度与反向激活；随后，dW图再利用这些反向激活，通过dW算子计算出最终的参数梯度。

这种拆分方式是流水线并行与FSDP优化的核心手段。它成功解耦了输入梯度与参数梯度的计算过程，使得两者可以独立调度，从而大幅降低显存占用并提升通信效率。

流水线并行的关键优化：前后向计算重叠（Overlapping Fw-Bw Graphs）

上方的4设备时间轴展示了微批次的调度情况，其中橙色代表前向任务，绿色代表反向任务。通过交错执行不同微批次的前向与反向任务，设备的利用率得到了大幅提升。图例解释了“前半层/后半层”的计算分工，中间示例的(0F9;7B5)|(7F6;0B2)清晰地展示了同一设备上如何并行执行不同阶段的前向与反向任务。这种“Cut-in-half”策略将模型层拆分为前后两段，使得设备能够同时处理不同微批次的前向和反向计算，从而有效减少了传统流水线中的气泡时间，是提升大规模模型训练效率的核心调度优化。

前后向计算重叠的图优化流程

实现流水线并行中前后向计算重叠（Overlapping Fw-Bw Graphs）的图优化流程如下：首先，独立的前向图（Stage-i Fw Graph）接收参数与输入，通过fw_ops输出结果与激活值；反向图（Stage-m Bw Graph）则利用保存的激活和输出梯度，通过bw_ops生成梯度。优化过程分为两步：先将两者拼接成一个联合计算图，再通过多路复用（Multiplex）调度，将不同阶段、不同微批次的前向与反向算子交错排列，形成一个可并行执行的重叠图。这种设计使得同一设备上的前向与反向计算得以重叠执行，减少了流水线气泡，从而大幅提升了大规模模型训练的设备利用率与吞吐效率。

基于计算图的流水线并行（PP）运行时架构

该架构清晰拆解了其核心组件，以实现高效的大规模模型训练。左侧定义了单阶段与跨阶段的可调用计算图，包括参数分片/恢复（unshard/reshard）、前向（fw）、反向（full_bw/bw_dl/bw_dW）及梯度归约（reduce_grad）算子，并支持前后向计算重叠（overlap_fw_bw）。中间是调度层，定义了微批次（iFj/iBj）与跨阶段通信（iSEND/iRECV）等调度指令。右侧为状态管理，负责维护未分片/分片的参数与梯度；下方则为每个微批次管理接收/发送缓冲区与激活缓存。整体架构通过模块化的计算图、调度指令与状态缓存，实现了流水线并行中前后向计算重叠、通信与计算解耦的高效执行。

该架构以(iFj; mBk)为调度核心，对应第i阶段对第j个微批次的处理。左侧定义了单阶段与跨阶段的可调用算子，包括参数分片/恢复（unshard）、前向（fw）、反向（full_bw/bw_dl/bw_dW）、梯度归约（reduce_grad），以及前后向计算重叠（overlap_fw_bw）的多路复用算子。右侧为阶段级状态管理，维护未分片/分片的参数与梯度；下方为微批次级的缓冲区与缓存，包括接收/发送缓冲区（输入、梯度）和激活缓存（前向/反向激活）。这种分层设计实现了计算、通信与状态的解耦，是支撑流水线并行中前后向重叠、高效调度的关键。

基于PyTorch FX的核心计算图拆分与调度API

这套API是FSDP（全分片数据并行）与流水线并行的关键工具。split_fsdp_prefetch与split_fsdp_reduce_scatters_epilogue用于拆分FSDP中的参数预取和梯度归约操作，将通信逻辑与计算逻辑解耦，从而实现通信与计算的重叠。split_di_dw_graph则将反向图拆分为输入梯度（di）与参数梯度（dw）两个独立子图，便于流水线调度。multiplex_fw_bw_graph则支持前向与反向计算图的多路复用，实现前后向计算重叠，减少流水线气泡。这些API通过对FX计算图的结构化拆分，为显存优化、通信隐藏和高效调度提供了基础能力，是支撑大规模模型高效训练的核心接口。

Graph PP APIs：流水线并行的核心接口定义

左侧的GraphCallables数据类封装了流水线各阶段的计算图，包括前向fw、全反向full_bw、输入梯度反向bw_dI、参数梯度反向bw_dW、参数分片恢复unshard与梯度归约reduce_grad等算子，为计算图拆分提供了标准化容器。GraphMeta则记录了输入输出、符号变量、参数/缓冲区数量等元信息，用于支撑调度与显存优化。右侧的GraphPipelineStage继承自PipelineStage，接收子模块、GraphCallables与设备信息，用于构建单阶段的流水线节点；GraphPPRunner则作为顶层运行时，负责对接调度器与Inductor编译器，实现计算图的执行与优化。这套API通过模块化的计算图封装，为流水线并行的前后向拆分、通信计算重叠提供了清晰的抽象。

八、实验验证：惊人的性能提升

在 DeepSeek-V3 16B 模型上的实验结果令人印象深刻，实验配置为：64 张 H100 96GB GPU，8 节点 InfiniBand 互联，PP=4，EP=16，FSDP=16。如下图所示：

DeepSeek-V3 16B MoE模型的分布式训练完整配置如下：模型采用27层MLA注意力架构，MoE模块包含64个路由专家与2个共享专家（top_k=6），序列长度为4096，并使用bf16混合精度。硬件方面，使用64张H100 96GB GPU（8节点×8GPU），节点内通过NVLink/NVSwitch实现约900GB/s的高带宽互联，节点间则依靠InfiniBand提供约400GB/s的互联速率。并行策略方面，采用PP=4（流水线并行）、EP=16（跨节点专家并行）以及FSDP=16（全分片数据并行）的组合。批处理设置上，local_batch_size为16，microbatch_size为1。这一配置通过跨节点EP适配MoE专家通信、PP+FSDP混合并行优化流水线与显存占用，高带宽互联支撑跨节点数据交互，微批次调度提升流水线利用率，为MoE大模型的高效分布式训练提供了系统性的软硬件协同设计。

表格对比了GraphPP（带编译优化的流水线并行）与EagerPP（eager模式流水线并行）在不同调度策略下的性能差异。GraphPP对三种主流流水线调度（DualPipeV、ZeroBubbleV、Interleaved1F1B）实现了显著加速，最高达到+70.8%。其核心优势来自编译级图变换Pass：通过split_fsdp_collectives拆分通信、split_dl_dW分离梯度计算、multiplex_fw_bw实现前后向重叠，而EagerPP依赖unshard/reshard API、autograd和协程实现重叠，缺乏全局优化。加速比随调度复杂度提升而升高，体现了编译优化在消除流水线气泡、降低通信与梯度计算开销上的关键价值。

GraphPP对三种主流流水线调度（DualPipeV、ZeroBubbleV（即前文所述的ZB2P调度，以下简称ZBV）、Interleaved1F1B）实现了显著加速，进一步拆解加速来源，

• DualPipeV相较ZBV的额外9.6%来自multiplex_fw_bw变换（计算-通信重叠）
• ZBV相较1F1B的7.0%来自split_dl_dW变换（B/W拆分）

九、本质洞察：图即程序，变换即优化

GraphPP的深层哲学是：将并行策略视为对计算图的程序变换。这一视角统一了看似迥异的优化技术：

• B/W拆分本质是图的依赖分析
• 计算-通信重叠本质是图的节点重排
• FSDP通信优化本质是集合通信节点的插入与调度

当一切都被表达为图变换，编译器就能自动应用这些优化，而无需开发者理解底层细节。这正是GraphPP能够同时实现高性能和高易用性的根本原因。

结语：图驱动并行的未来

GraphPP目前作为GraphTrainer实验项目的一部分在TorchTitan中开发，未来计划扩展CUDA Graph支持、单Rank编译能力，并最终上游到torch.pipelining。

GraphPP的当前状态与未来规划。当前，GraphPP是TorchTitan项目中GraphTrainer实验的一部分，作为基于编译优化的流水线并行方案，正处于内部验证阶段。接下来的发展方向聚焦三点：一是扩展CUDA Graph支持，利用CUDA Graph的内核固化能力进一步降低调度开销；二是实现单rank编译，解决多设备编译冗余问题，降低编译成本；三是将功能上游合入PyTorch官方的torch.pipelining模块，推动该方案成为原生支持的流水线并行能力，惠及更广泛的用户，为大模型训练提供更高效的分布式调度基础。

对于大模型训练基础设施而言，GraphPP指出了一个清晰的方向：让编译器而非开发者来处理并行复杂性。当模型架构持续演进、硬件拓扑日趋复杂，这种图驱动的自动化方法将成为不可或缺的效率基石。