网络成AI基础设施新瓶颈？ZCube组网架构让算力瞬间多出15%

在人工智能发展的进程中，我们仍身处一个野蛮生长的阶段：规模，即是一切。

这一策略确实行之有效。从千卡集群到万卡集群，算力规模的指数级增长，支撑起大模型从 GPT-4 到 DeepSeek V4、GLM-5 的飞速演进。

然而，我们往往忽视了一个现实：当 GPU 硬件规模达到临界点后，连接这些算力的网络链路，便成为不可忽视的性能瓶颈。

2026 年 5 月 5 日，OpenAI 联合 NVIDIA、AMD、Intel、Microsoft、Broadcom 五大巨头，通过开放计算项目（OCP）向全行业正式发布了 MRC（Multipath Reliable Connection）协议。这是一种专为超大规模 AI 集群量身打造的网络传输协议，目前已部署于 OpenAI 最大的 NVIDIA GB200 超算集群中，用于训练 ChatGPT 等前沿模型。

• 技术博客链接：https://openai.com/index/mrc-supercomputer-networking/

MRC 的核心思路是：将数据传输分散到数百条路径上进行并发传输，在微秒级别即可绕过链路故障，从根本上解决大规模 GPU 集群的网络通信瓶颈。

而就在近日，智谱在 GLM-5.1 线上生产集群中，率先完成了新一代组网架构 ZCube 的规模化落地。

ZCube 发表于网络领域顶级会议 ACM SIGCOMM 2025，被评价为「significantly change the way we think about and understand networking/显著改变整个行业对网络的认知方式」。这是该技术首次大规模应用于生产推理集群，智谱联合驭驯网络负责网络架构的升级与优化工作，组网架构优化基于锐捷网络交换机。

• 论文标题：From ATOP to ZCube: Automated Topology Optimization Pipeline and A Highly Cost-Effective Network Topology for Large Model Training
• 论文链接：https://dl.acm.org/doi/epdf/10.1145/3718958.3750503
• 技术博客：https://z.ai/blog/zcube

在新一代组网架构下，不新增任何 GPU、不修改任何应用代码，集群推理吞吐量提升了 15%，首 Token 响应的尾延迟（TTFT P99）下降了 40.6%，交换机与光模块的硬件成本减少了三分之一。

不加一块 GPU，算力瞬间多出 15%。 或许，在扩大 GPU 规模之外，网络已成为超大规模 AI 基础设施的下一个主战场。

ZCube 技术解读：从架构层面消除拥塞

推理时代的流量，与训练时代截然不同

传统互联网时代的数据中心流量呈现“统计均匀”的特征。数据中心普遍采用的 Fat-Tree / Clos 架构正是基于这一假设设计的：通过多层交换机堆叠来扩展规模，依赖 ECMP（等价多路径路由）在多条路径间分配流量，效果良好。AI 训练集群也基本沿用了这套架构，因为训练阶段的通信模式相对固定且规整。

但大模型推理引入了一种全新的流量范式。随着 Prefill（处理用户输入上下文）与 Decode（逐 Token 生成输出）分离部署成为主流，集群内部的数据传输呈现出高度的动态不对称性。Prefill 节点处理输入上下文，Decode 节点负责持续生成 Token，两类节点之间需要频繁传递 KV Cache。不同请求的上下文长度差异可达数十倍，处理时间也随之变化，KV Cache 数据在 GPU 之间的流向几乎毫无规律可循。

ROFT 架构中，Leaf 交换机之间容易出现流量负载不均

在采用传统 ROFT 架构的集群中，同一台机器上不同网卡承担的 KV Cache 传输负载差异巨大。这种源-目的不对称性 让 ROFT 的 rail 映射不再天然等价于负载均衡，反而容易把流量集中推向少数 Leaf 交换机和链路。

同一台机器不同网卡的 KV Cache 传输负载差异图

问题的根源在于，Clos / ROFT 架构对推理流量产生了一类特殊的拥塞。智谱在技术报告中将其明确区分为两类：

• 不可避免的拥塞： 例如多个 GPU 同时向同一目的地发送数据，在最后一跳链路上必然产生竞争。这类拥塞由物理规律决定，通常依赖拥塞控制、流量整形等机制来缓解。
• 可避免的拥塞： 由拓扑结构和流量映射方式导致，流量被拓扑关系天然地推向同几台交换机和同几条链路，即使总带宽充足，也会形成局部热点。某些 Leaf 交换机的部分出口队列深度持续高位，频繁触发 PFC（Priority Flow Control）反压，进一步将拥塞从局部扩散到整条链路，放大尾时延、压低整体吞吐。这类拥塞的本质是架构设计问题，靠调参和协议优化都无法根治。

两类网络拥塞示意图

过去，业界应对网络拥塞的主流思路集中在协议层：自适应路由（adaptive routing）、包喷洒（packet spraying），乃至 OpenAI 刚发布的 MRC，本质上都是在拥塞发生后做补救或绕行。

ZCube 选择了从架构层面消除第二类拥塞产生的根源，让它“不该发生的就不发生”。

ZCube 的三重设计逻辑

从 ZCube 组网架构图来看，该架构打破了 Clos 架构中层次化堆叠交换机的传统组网思路，设计了一种完全扁平的方式来进行 GPU 服务器互联。

ZCube 架构相比 ROFT 架构可以有效避免结构性网络拥塞

第一层：取消分层，全网扁平化。 传统 Clos 架构由 Spine 层和 Leaf 层组成，数据在 GPU 之间传输需要“上行到 Spine，再下行到 Leaf”，跨层转发本身就引入了额外延迟和拥塞风险。ZCube 取消了 Spine 层交换机，将所有 Leaf 交换机按序号奇偶分为两组，两组之间采用完全二部图互联（即每台奇数交换机与所有偶数交换机相连）。这意味着全网 GPU 仅经过两台交换机即可互达，网络直径为 2 跳，介于单层交换机组网（1 跳，规模受限）和双层 Clos（3 跳，延迟高）之间。

第二层：单轨 + 多轨混合接入，实现理想负载均衡。 这是 ZCube 最精妙的设计。每张 GPU 网卡拥有两个端口，分别以两种截然不同的方式接入两组交换机：第一个端口采用“多轨”方式，即相同编号的 GPU 连接到同一台奇数交换机；第二个端口采用“单轨”方式，即连续编号的 GPU 连接到同一台偶数交换机。

这种“一张网卡，两种接法”的拓扑设计带来了一个关键特性：全网任意两张 GPU 之间有且仅有一条最优路径。 多路径选路是传统架构拥塞的重要来源，因为多条路径意味着负载均衡策略需要做选择，选择就可能出错，就可能导致流量集中。ZCube 用唯一路径消除了这一不确定性。

用更直白的话说：在 ROFT 架构下会在交换机之间发生冲突的流量，在 ZCube 架构下可以独享整条网络路径。

第三层：更低成本，更强扩展性，更高容错。 ZCube 在实现性能提升的同时，反而降低了硬件成本。由于取消了 Spine 层，在相同集群规模下，ZCube 比 Clos / ROFT 架构减少约三分之一的交换机和光模块。

扩展性与容错性的双重提升

在扩展性方面，ZCube 架构表现尤为突出。以当前主流的 400Gb/s 网络配置为例，它仅需一层交换机就能构建起连接 16384 张 GPU 的扁平化网络。相比之下，传统的 ROFT 架构要达到同等规模，必须依赖三层交换机。若采用下一代 102.4Tbps 交换机与四端口 ConnectX-8 网卡，ZCube 支持的 GPU 数量更能飙升至 65536 张。

容错性同样是 ZCube 的亮点。由于全网 GPU 之间不存在硬性隔离平面，在给定的链路故障率下，GPU 对之间的不可达概率比传统双平面 Clos 网络低了 50% 以上。

ZCube 架构下的流量负载均衡示意图

传统 Clos 架构好比一座多层立交桥系统，车辆需要频繁上下匝道，高峰期特定匝道必然拥堵，且某一层出故障会波及大量通行。而 ZCube 则像一张经过精密数学优化的平面路网，每辆车都拥有一条唯一的最短路径直达终点，任何路段的车流量都被均匀分摊，从规划层面就消除了拥堵隐患。

实验验证：同等硬件，算力提升 15%

ZCube 真正令人瞩目的，是它已在智谱千卡级 GLM-5.1 coding 推理集群中完成了完整的生产验证。

实验设置非常纯粹：GPU 型号、软件栈、业务代码均保持不变，唯一的变量是将传统 ROFT 架构替换为 ZCube。结果如下：

• 推理吞吐量提升 15% 以上：同样的硬件投入下，每秒可多响应 15% 的 API 请求。
• TTFT P99 下降 40.6%：首 Token 响应的尾延迟大幅降低，用户体感更为流畅。
• 交换机与光模块成本减少三分之一：在万卡规模集群中，仅网络硬件一项即可节省约 2.1 亿至 6.4 亿元投资。

更关键的是，这项升级的边际成本极低，纯粹是组网架构的替换。在 GPU 供应持续紧张、价格居高不下的背景下，一种不依赖硬件堆叠就能显著提升系统效率的方案，其产业价值不言而喻。

AI 基础设施的价值重心正在迁移

将 ZCube 的落地与 OpenAI MRC 协议的发布放在 2026 年 AI 基础设施的大背景下审视，它们共同指向一个更深层的行业拐点：AI 基础设施的价值重心，正在从「算力」向「系统效率」迁移。

让 GPU 跑得更好

过去三年，大模型公司的基础设施策略可以用一个字概括：买。抢 GPU、抢算力卡、抢机柜、甚至抢能源。在模型从零到一的阶段，这套逻辑是成立的——算力规模直接决定了能训练多大的模型、能支撑多少用户。

但如今，这个逻辑开始遇到阻力。

第一，GPU 供应依然紧张。尽管英伟达持续扩产，但需求增速远超供给，尤其是高端推理卡的交付周期仍以季度计算。第二，算力采购的经济模型正在恶化。GPU 价格居高不下，而大模型 API 的定价竞争日趋激烈，Token 单价持续走低，毛利空间被两端挤压。第三，单纯堆砌 GPU 的边际收益在递减。当集群规模从千卡扩展到万卡，新增 GPU 的算力并不能被线性释放。

在这一趋势下，OpenAI 的 MRC 和智谱的 ZCube 分别代表了协议层和架构层两条互补的技术路径。两者高度互补，当推理集群规模继续向十万卡甚至更大规模演进时，这种「架构层无拥塞 + 协议层强容错」的组合或许将成为标配。

产业链的结构性变化

英伟达在 2019 年以 69 亿美元收购 Mellanox，将 InfiniBand 纳入自己的 AI 算力版图。此后，数据中心网络市场几乎被 InfiniBand 垄断了 AI 场景的高端需求。

当行业发展到新阶段，多重力量正在打破这一格局。

超以太网联盟（UEC）标准快速推进，从协议层面为以太网补齐了 AI 场景所需的低延迟和高可靠能力。

此外，据 TrendForce 研究报告，全球 AI 专用光收发模块市场已进入高速成长阶段，预计从 2025 年的 165 亿美元增至 2026 年的 260 亿美元，增幅超过 57%。国金证券研报指出，随着推理需求驱动算力从通用 GPU 向专用 ASIC 演进，ASIC 芯片在网络接口设计上天然倾向于采用开放的以太网标准，也在推动网络架构从专有协议向开放标准迁移。

ZCube 的出现进一步加速了这一进程。它将交换机层级从传统的三层降低到一层，大幅降低了对高端 Spine 交换机的依赖，转而要求 Leaf 交换机具备更高的端口密度。

这意味着集群组网的采购逻辑将发生结构性变化：需求将从「少量高端交换机 + 大量中端交换机」的金字塔结构，转向「大量高密度交换机 + 更高速光模块」的扁平结构。

尾声

网络架构创新的投入产出比，可能远超大多数人的直觉。

在 GPU 价格高企、算力供给偏紧的大环境下，多数公司的注意力仍集中在「如何获得更多 GPU」上。但 ZCube 用真实的生产数据证明，在 GPU 资源不变的前提下，纯粹通过网络架构升级就能释放 15% 的额外算力，同时节省三分之一的网络成本。如果将这一比例外推到万卡甚至十万卡规模，网络优化所释放的价值将远超一般认知。

网络瓶颈还具有一个被广泛低估的特性：它随集群规模指数级加剧。集群规模翻倍，GPU 间通信的复杂度可能增长数倍，拥塞发生的概率和影响也同步放大。这意味着 ZCube 这类架构级创新的价值，将随着推理集群的持续扩张而加速显现。

对于正在加速扩建 AI 基础设施的云厂商、模型公司与智算中心而言，这或许是一个重新审视组网方案的关键时刻。AI 算力竞赛的下半场，胜负可能取决于那张「看不见的网」。

参考链接：
https://www.trendforce.cn/presscenter/news/20260420-13018.html
https://news.qq.com/rain/a/20260413A03IX100