谷歌第八代TPU震撼发布：TPU 8t/8i精准匹配AI智能体时代，训练算力提升3倍，推理性价比飙升80%

关键词： 第八代 TPU、TPU 8t/8i、AI 智能体、模型训练、推理算力

随着AI智能体时代的到来，模型需要完成多步骤逻辑推理、自主执行复杂工作流并在持续循环中自我学习，这对底层算力架构提出了全新的迭代式需求。

在近期举办的Google Cloud Next大会上，谷歌正式发布了其第八代定制张量处理器（TPU）。此次发布的核心创新在于推出了两款分工明确的专用芯片：TPU 8t 与 TPU 8i。这两款芯片由谷歌与DeepMind联合设计，旨在精准匹配大模型训练与大规模推理两大核心场景。

第八代TPU基于全新的底层架构，如Virgo网络和Boardfly拓扑，实现了核心性能的跨越式提升。其中，TPU 8t集群的训练算力达到上一代的近3倍，而TPU 8i的推理性价比则提升了80%，整体能效较上代实现翻倍。该系列芯片从硬件、互联网络到数据中心进行了全栈协同优化，并原生兼容JAX、MaxText、PyTorch、SGLang与vLLM等主流AI开发框架，不仅为Gemini等前沿大模型提供算力支撑，也为多智能体协同工作负载打造了专属基础设施。

然而，当我们审视这些亮眼的工程数据时，一个更深层的产业问题随之浮现：这种为当前主流模型架构“量体裁衣”的极致专用化，究竟是通往AI超算自由的快车道，还是可能成为未来算法创新的“铁笼”？

例如，基于特定物理设计（如Boardfly拓扑与超大SRAM定标KV缓存）的优化，本质上是对当前算法演进方向的一次昂贵下注。一旦Transformer或混合专家模型（MoE）不再是主流架构，今日的效率优势可能迅速转化为未来的沉没成本。此外，针对近万张芯片共享2PB内存的超大规模单体系统，尽管通过先进的光交换与可靠性机制能将“有效算力时间”维持在极高水准，但在面对金融级合规与模型收敛的确定性要求时，由物理规模引发的潜在系统风险依然是悬在超算稳定性头顶的达摩克利斯之剑。

正是基于这种软硬件共生的博弈视角，我们得以更冷静地审视谷歌此次发布的战略意图：这不仅是算力参数的又一次飞跃，更是谷歌试图通过Axion ARM主机与JAX软件堆栈的深度绑定，在专用与通用的历史岔路口划出一条激进的分界线。该系列芯片将于年内正式面向客户开放商用，其真正的考验不在于实验室的跑分，而在于未来数年瞬息万变的模型架构更迭中，能否以物理固化的身段接住算法突变的每一次重击。

一、适配时代需求的双芯片设计

硬件研发周期远长于软件迭代周期。每一代TPU的研发，都需要预判产品上市时的技术趋势。数年前，谷歌便预判到随着大模型规模化落地，客户对推理算力的需求将持续攀升；而随着AI智能体的兴起，行业需要分别针对训练与推理任务进行深度定制的专用芯片。

• TPU 8t 擅长承载大规模、高算力消耗的训练任务，设计上具备更强的算力吞吐量与横向扩展带宽。
• TPU 8i 则配备更高的内存带宽，用以支撑对延迟高度敏感的推理任务。这一设计至关重要，因为规模化智能体之间的交互会放大微小的算力效率损耗。

重要的是，两款芯片均可运行各类工作负载，而专业化分工则旨在解锁更显著的效率与性能提升。

二、TPU 8t：训练算力核心

TPU 8t旨在将前沿大模型的研发周期从数月缩短至数周。它通过平衡极致的算力吞吐量、共享内存与芯片间带宽，同时兼顾最优能效与有效算力运行时长，实现系统性能的飞跃。

• 超大规模扩展能力：单个TPU 8t超级集群可扩展至9600颗芯片，配备2PB共享高带宽内存，芯片间带宽为上一代的两倍。该架构可提供高达121 ExaFlops的算力，让最复杂的模型能够调用统一的超大容量内存池。
• 极致资源利用率：TPU 8t将存储访问速度提升10倍，配合TPU直接数据传输技术，可将数据直接载入TPU，保障端到端系统的资源利用率达到最优。
• 近线性扩展性能：全新的Virgo网络搭配JAX与Pathways软件栈，使TPU 8t能够在单个逻辑集群中实现近百万颗芯片的近线性扩展。

二、网络架构与可靠性：支撑万亿参数训练的关键

图：谷歌超大规模数据中心交换网络架构示意图

为满足万亿参数级模型训练对低延迟、高带宽通信的苛刻需求，谷歌构建了由Virgo网络、Jupiter网络及分布式全球广域网组成的多层次数据中心交换网络。

• Virgo网络：作为核心，采用两层无阻塞交换架构。它通过独立的平面构建高可靠、弹性的交换矩阵，直接连接各个加速器机架，专门优化了AI训练负载的通信需求。
• Jupiter网络：以Apollo光电路交换机和聚合块为核心，负责高效汇聚和调度机架间的流量。
• 关键特性：该整体架构具备两层无阻塞交换、基于独立平面的高可靠弹性网络以及支持多数据中心扩展三大特性，最终接入分布式全球广域网，实现跨地域算力资源的统一调度与互联。

超越峰值：实现超过97%的有效算力利用率

除了提供原始算力，TPU 8t通过一套完整的可靠性、可用性与可维护性（RAS）技术，实现了超过97%的有效算力利用率。这一指标衡量的是芯片实际为AI训练产生价值的运行时长。

相关技术包括：
* 大规模实时遥测：对数万颗芯片的运行状态进行持续监控。
* 自动故障处理：自动检测故障互联链路，并在不中断训练任务的情况下绕行传输数据。
* 光线路由交换：在无需人工干预的情况下，系统可自动绕开硬件故障并重新配置网络路径。

在前沿模型长达数周甚至数月的训练过程中，硬件故障、网络延迟或检查点（checkpoint）重启都会占用宝贵的集群训练时间。因此，有效算力利用率每提升一个百分点，都能为实际训练节省数天时间。

图：第七代Ironwood TPU与第八代TPU 8t核心规格对比

上图清晰展示了从第七代到第八代训练芯片的全面架构升级。TPU 8t的单集群（Pod）规模从9216片小幅增至9600片，但其单集群FP4算力从42.5 EFLOPs跃升至121 EFLOPs，实现了近3倍的性能提升。

同时，通信带宽获得显著增强：
* 单芯片双向扩展带宽翻倍至19.2 Tb/s。
* 横向扩展网络带宽从100 Gb/s提升至400 Gb/s。

算力与通信带宽的同步大幅提升，不仅使TPU 8t能够承载万亿参数模型的训练负载，更重要的是解决了超大规模集群训练中的通信瓶颈问题，为实现近线性扩展、缩短前沿模型的研发周期提供了关键支撑。

三、TPU 8i：为智能体时代设计的推理引擎

在智能体时代，复杂的任务往往需要多个专用智能体以集群形式协作完成。TPU 8i专为承载此类多智能体复杂、迭代的工作流程而设计。通过四大核心架构创新，旨在消除智能体推理中的等待延迟：

1. 打破内存壁垒：配备288GB高带宽内存（HBM）和384MB片上静态随机存取存储器（SRAM），容量为上一代的3倍，可将模型的活跃工作集完全保留在芯片内，避免因访问外部内存导致的处理器闲置。
2. Axion处理器提升能效：单服务器搭载的物理CPU主机数量翻倍，采用谷歌定制的Axion架构ARM处理器。通过非统一内存访问（NUMA）架构实现任务隔离，并对全系统进行性能与能效优化。
3. 优化混合专家模型：针对MoE模型，芯片间互联带宽翻倍至19.2 Tb/s。全新的Boardfly拓扑架构将网络最大直径缩短50%以上，确保系统能够以低延迟状态协同运行。
4. 消除运行延迟：全新的片上集合加速引擎可卸载全局运算任务，将片上通信延迟最高降低5倍，最大限度减少运行卡顿。

这些技术创新使得TPU 8i的每美元算力性能较上一代提升80%，意味着企业可以在同等成本下支撑近两倍的用户业务规模。

图：第七代Ironwood与第八代TPU 8i核心规格对比

面向大规模、低延迟推理场景，TPU 8i实现了全方位升级：
* 集群规模从256片大幅跃升至1152片。
* 单集群FP8算力从1.2 EFLOPs提升至11.6 EFLOPs，性能提升近10倍。
* 单集群HBM总容量从49.2TB增至331.8TB，提升约6.7倍。
* 单芯片双向扩展带宽翻倍至19.2 Tb/s。

这些升级不仅能支撑更大规模的模型键值缓存与多智能体并发推理，更通过内存容量与带宽的同步跃升，显著降低推理延迟，解决了智能体多轮交互带来的算力与内存瓶颈。

图：TPU 8i采用的Boardfly分层全互联拓扑架构

TPU 8i采用分层式Boardfly全互联拓扑，专为低延迟推理优化：
* 第一层：单块板卡上的4颗TPU实现全互联。
* 第二层：由8块板卡组成的机架组内全互联。
* 第三层：36个机架组构成包含1152颗芯片的完整集群。

这种设计大幅缩短了网络直径，减少跨节点通信跳数，将延迟降低50%以上，完美适配多智能体并发交互与MoE模型的通信需求，同时保障了大规模集群下的近线性扩展效率。

作为谷歌十年定制化超算技术的集大成者，第八代TPU不仅是技术发展的里程碑，更是面向AI智能体时代的基石。它将为前沿模型研发、多智能体协同以及复杂推理任务提供强大的算力支撑，旨在助力企业与研究机构突破现有创新边界，共同开启AI智能体的全新篇章。

关注“鲸栖”小程序，掌握最新AI资讯