SynPerf：混合分析与机器学习融合，GPU性能预测实现6.1%内核误差与1.7倍加速

关键词：GPU 性能建模、混合建模、大语言模型、硬件泛化性、性能优化

让 AI 学会“自我审视”：在真实硬件运行前，精准预测每一行代码的执行时间。

2025 年的今天，从 Gemini 到 Llama-3，从 Qwen 到 DeepSeek，大型语言模型（LLMs）正在以前所未有的速度重塑我们的生活。这些动辄百亿、千亿参数的“数字大脑”，背后依赖的是成千上万块高性能 GPU 的昼夜运转。

然而，一个棘手的问题正摆在系统架构师面前：面对层出不穷的 GPU 架构（NVIDIA 四年内发布了四代架构、数十款型号），如何在硬件到手之前，就准确预测它运行某个模型的速度？

表 I | A100 显卡上 Qwen2.5-32B 模型推理的运行时占比拆解。该表揭示了 LLM 推理中核心核函数的耗时分布规律，GEMM 在预填充和解码阶段均占绝对主导，Attention 在解码阶段占比显著提升，四类核心核函数合计占比超 95%。这是 SYNPERF 选定建模核心的关键依据，聚焦高占比核函数确保模型对实际推理场景的实用性，也为后续管线级分析划定了重点范围。

为什么要做这种“预言”？

• 硬件选型困难：数据中心采购时，面对 A100、H100、H200、Blackwell 等众多选项，不可能把每种 GPU 都买回来实测一遍。
• 设计空间探索：开发下一代 AI 系统时，需要评估不同并行策略（张量并行、流水线并行）的性能收益。
• 成本考量：在云上大规模部署模型前，精确的成本/性能预估至关重要。

传统的性能预测方法各有短板：

正是在这样的背景下，上海交通大学与阿里巴巴团队联合提出了 SynPerf——一个融合了解析模型（Analytical）与机器学习（ML）的混合框架，为 GPU 性能预测装上了一双“透视眼”。

本文将对 SynPerf 进行深度解读，带你理解它的核心创新、方法细节以及超越模拟的实用价值。

一、背景：GPU 内部的“交响乐团”

要理解 SynPerf 的创新，首先需要了解现代 GPU 的内部运作机制。

以 NVIDIA Ampere 及后续架构为例，一个 GPU 的流式多处理器（SM，Streaming Multiprocessor）就像一个微型的“交响乐团”，拥有多个专门的“声部”——指令流水线：

表 III | 核心数学管线执行的主要操作。该表明确了 Tensor、FMA、XU 三大核心数学管线的专属操作，均为 LLM 推理的关键计算操作，其中 Tensor 管线的 MMA 操作是 GEMM、Attention 的核心计算逻辑。SYNPERF 针对性量化这三类管线的需求，忽略 ALU 等低利用率管线，在保证建模完整性的同时提升解析效率，是分析模型轻量化设计的关键。

• 张量流水线（Tensor Pipe）：负责执行 MMA（矩阵乘累加）指令，是处理 FP8、FP16、BF16 矩阵运算的核心，大模型 GEMM（通用矩阵乘法）算力的主力。
• FMA 流水线：处理 FP32 浮点运算，如加、乘、融合乘加。
• XU 流水线：处理特殊函数，如指数、对数、倒数等。
• MIO 单元：负责数据搬运，包含加载存储单元（LSU，Load Store Unit）、共享内存、L1 缓存等。

图 1 | 软件层级与物理 GPU 硬件之间的映射关系，清晰呈现了从服务器工作负载（如 GEMM、All-Reduce）到 GPU 硬件执行的完整链路。软件层面通过 Grid、CTA 等结构定义执行配置，硬件层面则通过 SM、SMSP 及各类功能 pipeline（Tensor、FMA、LSU 等）响应执行需求。这种映射是 SYNPERF 实现跨硬件泛化的基础，其核心在于将抽象的软件逻辑与具体的硬件资源调度对应，为后续任务分解和性能建模提供了架构层面的支撑。

当一个内核（Kernel）在 GPU 上执行时，它经历两个阶段：
1. 编译阶段：CUDA C++或 Triton 代码被编译为 SASS 指令，这是 SM 能原生执行的唯一语言。
2. 运行阶段：内核启动时，会指定一个网格（Grid）和其包含的 CTA。GPU 的硬件工作分配器（GigaThread 引擎）将 CTA 动态调度到 SM 上。SM 内部的 warp 调度器再将指令分发到不同的执行流水线上。

一个内核的执行时间并非简单的“计算时间”与“访存时间”之和，而是多个硬件流水线并发执行、相互等待、资源竞争的综合结果。 任何单一维度的分析（例如Roofline模型中的计算强度）都无法准确刻画这种复杂性。

二、SynPerf 的三大核心创新

SynPerf 实现高精度与高泛化性的能力，源于其在三个层次上的创新设计：

三、SynPerf 方法论：四步走，看透内核执行

SynPerf 的整体流程如图2所示，包含四个核心模块，形成一个从输入、分解、模拟、分析到预测的闭环。

图 2 | SynPerf 建模框架概述。Kernel Decomposer 将核函数分解为基础任务，Scheduling Simulator 模拟任务在SM上的分配，Feature Analyzer 提取多维度管线需求特征，最终由轻量MLP模型输出预测结果。该设计通过解析模型保证了可解释性，并借助机器学习捕捉复杂管线交互，实现了保真度与泛化性的平衡。

模块 1：内核分解器（Kernel Decomposer）

目标： 将一个复杂的内核，分解为一组任务（Tasks）的集合。

此分解并非任意划分，需兼顾计算局部性、内存带宽利用率与硬件执行单元的调度特性。因此，“任务”的定义并非静态统一，而是随内核设计范式动态演化。

具体而言，任务的粒度取决于内核的实现方式：
* 对于常规内核（如 FlashAttention-2），一个任务通常对应一个CTA（线程块），其职责边界清晰，与一次完整的子矩阵注意力计算强绑定。
* 对于持久化内核（Persistent Kernel，如 Ping-Pong GEMM），设计逻辑发生根本转变：一个CTA长期驻留在SM上，通过轮询全局工作队列动态获取更细粒度的计算包。此时，“任务”的粒度下沉至数据块级操作（如单次 tile-GEMM），而CTA仅作为执行载体存在。 这种范式迁移使得任务抽象从“静态分配”转向“动态调度”。

分解过程由映射函数 ( f_{text{map}} ) 实现：
[
{T_i} = f_{text{map}}(P, H)
]
其中 ( P ) 是输入参数，( H ) 是硬件规格，( T_i ) 是第 ( i ) 个任务，每个任务由维度参数向量描述（例如GEMM任务的 ( (M, N, K) )）。该函数本质上建模了软硬件协同的决策逻辑：既需适配算法结构，又须服从SM资源约束与访存模式。

实现方式也因“库”而异：
* 对于开源库（如 FlashInfer），可直接分析源代码，提取并行化策略和线程块映射逻辑。
* 对于闭源库（如 cuBLAS），则需借助性能剖析工具，分析内核名称、CTA启动规模与输入尺寸的统计规律，在缺乏源码的前提下，通过可观测行为反推不可见的映射函数 ( f_{text{map}} )。

模块 2：调度模拟器（Scheduling Simulator）

目标： 模拟任务如何被动态分配到具体的流式多处理器（SM）上，从而生成一个合理的任务分布（Task Distribution）。该分布由映射函数 ( f_{text{schedule}} ) 显式建模：
[
{T_{sm_j}} = f_{text{schedule}}({T_i}, S)
]
其中 ( {T_{sm_j}} ) 表示分配给第 ( j ) 个SM的全部任务集合，( {T_i} ) 为待调度的全局任务集，( S ) 为当前SM的资源状态（如寄存器、共享内存、活跃warp数等）。

为兼顾通用性与架构特异性，调度策略采用双模设计：
* 硬件调度器（默认）： 面向绝大多数常规内核，采用贴近真实GPU硬件行为的轮询策略。它并非简单地“平均切分”，而是按SM顺序逐轮分配任务，仅在目标SM资源充足（如warp槽位未满、寄存器余量足够）时才执行分配，直至所有任务耗尽或所有SM均达资源饱和。
* 软件调度器（可选）： 专用于支持持久化内核的场景，例如 FlashAttention-3 在 Hopper 架构上的实现。该模式下，调度逻辑由内核自身控制，通过精确建模其软件调度器（如基于最小堆的优先级队列）来动态选择下一个执行任务，从而复现其对计算与访存重叠的精细优化行为。

两种策略共享统一的映射接口 ( f_{text{schedule}} )，确保任务分布既符合硬件约束，又能反映高级调度语义。

模块 3：特征分析器（Feature Analyzer）

目标： 将任务分布转换为一个多层次的、包含需求（Demand）和理论周期（Theoretical Cycles）的特征集。

这是 SynPerf 将领域知识注入模型的关键步骤。它将经典的 Roofline 模型扩展为多维分析，为每一个关键指令流水线计算一个理论性能上限。

图 3 | SynPerf 针对 A100 上 FlashAttention-2 的多维分析示意图。随着需求增加，两种不同配置的实测性能逐渐接近理论“上限”并趋于平稳。该图展示了 SynPerf 对经典 Roofline 模型的扩展，将单一计算/内存上限细化为各管线专属理论上限。横轴分别代表Tensor管线和内存管线的需求规模，纵轴为理论周期与实际周期的比值，反映执行效率。当需求达到一定阈值后，性能受限于硬件物理瓶颈进入平台期。

图3展示了FlashAttention-2在A100上的多维性能分析示例。随着计算负载增加，不同配置下的实测吞吐量逐渐逼近各硬件流水线的理论性能上限，直观反映了模型在不同瓶颈下的行为边界。

整个特征提取过程采用自底向上的分层聚合策略：

任务级特征：聚焦单个计算单元的细粒度行为

• 在计算流水线上，针对张量核心，依据实际tile尺寸与算子语义推导MMA操作数；FMA与XU流水线则通过解析内核的算术表达式与循环结构，直接统计总操作数；再结合硬件吞吐量，得到各流水线的理论执行周期。
• 在内存流水线上，统计每个任务从各级缓存或全局内存中加载的总字节数，覆盖完整数据搬运路径。

SM 级特征：将任务分配结果纳入考量

对归属同一SM的所有任务，聚合其操作数与内存需求，得到该SM上各流水线的理论周期；同时记录各SM中的最大操作数与最大周期，以刻画SM间负载不均衡性。

GPU 级特征：完成全局归一化

• 汇总所有SM的指标，得到全局操作数与总内存需求。
• 计算整体理论周期，并分别基于L2带宽与全局内存带宽估算内存瓶颈周期。

最终，这些分层特征被拼接为统一的输入向量，送入后续的MLP模型进行性能预测。

模块 4：性能估计器（Performance Estimator）

目标：使用一个轻量级多层感知器（MLP），将特征向量映射到最终的内核执行延迟。

• 模型架构：采用3层隐藏层（256、128、64个单元），使用ReLU激活函数，并引入批量归一化（Batch Normalization）和Dropout（0.1）进行正则化。输出层使用Sigmoid激活函数，预测一个0到1之间的执行效率（Efficiency），该效率定义为理论执行时间与实际延迟的比值，最终预测延迟为理论执行时间除以预测效率。
• 训练策略：为每个内核类别（如GEMM、Attention）训练一个独立的MLP。训练数据通过在多种GPU架构和输入参数上剖析（Profiling）内核的实际执行延迟来构建。表V总结了所选内核的关键特性。

表 V | 所选核函数的核心特征。该表的核函数均来自 vLLM、SGLang 两大主流 LLM 推理框架，覆盖不同源码类型、数据精度和调度方式，是 LLM 推理的核心计算组件。SYNPERF 采用按核函数单独训练 MLP的策略，适配不同核函数的管线需求和调度逻辑，针对性建模让框架能精准捕捉各类核函数的性能规律，提升核函数级预测的准确性。

四、实验评估：高精度与强泛化性的有力证明

SynPerf 在 11 种不同 GPU 上进行了评估，涵盖四代架构（Ampere、Ada Lovelace、Hopper、Blackwell），并将其与 Roofline 模型、线性回归模型以及 SOTA 数据驱动方法 Neusight 进行了对比。

表 VI 列出了评估用 GPU 的关键规格，并将其分为“已见”和“未见”两组，用于测试泛化性。

表 VI | 所评估的 NVIDIA GPU 的核心规格参数。该表的 11 款 GPU 覆盖 Ampere、Ada、Hopper、Blackwell 四代 NVIDIA 架构，涵盖不同市场定位和硬件配置，且分训练、测试集划分。这是验证 SYNPERF 泛化性的核心硬件测试集，从 SM 数量、存储带宽到 Tensor 管线吞吐量的差异化配置，能全面测试模型在见过 / 未见过硬件上的预测表现，充分验证框架的跨架构能力。

1. 内核级预测精度

图 5 展示了四个典型内核（GEMM、Attention、RMSNorm、SiLU&Mul）在 BF16 精度下的预测误差（MAPE）。

图 5 | SYNPERF 与基准模型的核函数级预测精度（MAPE）对比。灰色背景标识未见过的硬件平台。该图聚焦 BF16 精度下四种典型 LLM 推理核函数（Attention、GEMM、RMSNorm、SiLU&Mul）的预测表现。SYNPERF 在 seen 和 unseen 硬件上均大幅优于 Roofline、Linear 和 Neusight 模型，峰值误差仅 23.4%，远低于基准模型的 75.7% 以上。尤其在未见过的硬件上，其泛化能力突出，证明通过管线级分析提取的特征具有硬件无关性，解决了传统数据驱动方法泛化性差的痛点。

• 已见硬件：SynPerf 平均 MAPE 为 6.0%，而 Neusight 为 42.6%。
• 未见硬件：SynPerf 平均 MAPE 为 11.5%，比 Neusight 的 45.1% 提升了 3.9 倍。
• 线性回归和 Roofline 模型的最大误差分别高达 215.6% 和 263.5%，完全无法应对复杂场景。

对于 FP8 精度的 Scaled MM 内核，SynPerf 在未见硬件（H100、H200）上的 MAPE 仅为 4.2% 和 5.2%，比 Neusight 平均提升 7.8 倍。

2. 端到端推理精度

SynPerf 的实用性不仅在于预测单个内核，更在于组合起来预测整个推理过程的延迟。图 6 展示了 Qwen2.5-14B 模型在单 GPU 上运行时的端到端预测误差。

图 6 | SYNPERF 与基准模型在基于 SGLang 的单 GPU Qwen2.5-14B 推理任务中的端到端预测精度（MAPE）对比。灰色背景标识未见过的硬件平台。实验基于 arxiv_8 和 splitwise_32 两种不同输入特征的 workload，覆盖 11 种 GPU 型号。SYNPERF 平均 MAPE 仅 11.3%，较 SOTA 基准 Neusight（34.5%）提升 2.8 倍，且在未见过的硬件上仍保持 12.5% 的低误差。这验证了其从核函数级预测到端到端推理预测的扩展性，通过 Workload Generator 还原真实内核调用序列，确保预测结果能直接服务于实际 LLM 部署场景。

• 已见硬件：SynPerf 平均 MAPE 为 11.3%，Neusight 为 34.5%。
• 未见硬件：SynPerf 平均 MAPE 为 12.5%，比 Neusight 的 34.4% 提升 2.8 倍。

在更复杂的多 GPU 分布式推理场景中（表 VIII），SynPerf 的表现同样出色。在 20 个测试配置上，SynPerf 的平均 MAPE 为 6.6%，而 Neusight 高达 34.7%，实现了 5.3 倍的平均精度提升。

表 VIII | 基于 SGLang 和 vLLM 的多 GPU 推理任务中，SYNPERF 与基准模型的端到端性能预测平均绝对百分比误差（MAPE，单位：%）。该表覆盖不同模型、并行策略、数据集和硬件的 20 种多 GPU 推理配置，SYNPERF 平均 MAPE 仅 6.6%，较 SOTA 基准 Neusight 提升 5.3 倍。结果验证了 SYNPERF 在分布式推理中的高精度，框架通过融合计算核函数预测与通信核函数的回归估计，完整建模多 GPU 推理的端到端延迟，适配实际的 LLM 分布式部署场景。

五、相关工作开展

SynPerf 的工作并非凭空出现，它与以下三大研究方向紧密相关，并弥补了它们的不足：

六、超越模拟：用“性能天花板”指导优化

SynPerf 最令人兴奋的部分，是它展示了“超越模拟”的价值。它不仅能预测性能，还能诊断性能瓶颈并指导优化。

核心问题在于：对于一个给定的内核和输入，其理论上的“性能天花板”在哪里？由于我们不知道这个上限，因此也无法判断当前实现是接近最优还是存在巨大浪费。

SynPerf 的解决方案是分位数回归。它不训练预测平均值的模型，而是训练一个预测80分位数（P80）的模型。这个模型学会拟合性能最好的那20%的数据点，从而输出一个统计意义上的“潜在性能天花板”，它代表了一个内核在理想配置下能达到的高效率。

图 7 展示了在 Fused MoE 内核上的分析结果。

图 7 | 性能差距分析。折线图为差距分布的累积分布函数（CDF），柱状图为各硬件“性能不佳点”（差距 > 0.1）的数量统计。该分析基于 P80 分位数回归模型定义的性能上限，通过计算实际效率与上限的差值定位优化空间。结果显示 80% 的配置性能差距小于 0.1，而 A40 GPU 存在 921 个性能不佳点（占其样本 30.4%），说明其核函数配置逻辑与硬件架构不匹配。这种硬件特异性问题的精准定位，为后续针对性优化提供了明确方向，体现 SYNPERF “超越模拟”的实用价值。

• CDF 曲线显示，约 80% 的配置点性能差距小于 0.1，但存在一个“长尾”。
• 条形图揭示了一个关键发现：A40 GPU 上有 921 个（占其样本的 30.4%）配置点的性能差距大于 0.1，说明该内核的配置逻辑在 A40 上完全不适用。相反，H20 上零个这样的点，说明配置逻辑非常适合 H20。

6.1 验证：通过调参缩小差距

为了验证该方法的有效性，研究团队选取了 A40、L20、A100、H800 上的约 70 个“欠性能点”，通过调整三个核心参数（BLOCK_SIZE、num_stages、num_wraps）进行优化。图 8 显示，优化后所有平台上的平均性能差距都显著缩小。

图 8 | 四种 GPU 平台在模型引导优化前后的性能差距分布对比。优化针对各 GPU 的典型“性能不佳点”，通过调整 BLOCK_SIZE、num_stages 和 num_warps 三个核心参数实现。结果显示，A40 和 L20 的平均性能差距分别从 0.187、0.274 降至 0.083、0.215，优化效果显著；而 A100 和 H800 因基线配置接近性能上限，提升相对有限。残留差距可能源于核函数设计或 Triton 语言固有局限，这为后续优化方向提供了参考，证明 SYNPERF 的性能上限模型能有效指导实际调优实践。

• A40 上的平均差距从 0.187 降至 0.083。
• L20 上的平均差距从 0.274 降至 0.215。
• A100 和 H800 由于初始配置已经接近最优，改进空间较小。

这强有力地证明，SynPerf 不仅仅是一个预测器，更是一个诊断工具，能够：
* 精确定位哪些硬件、哪些配置下的内核实现是低效的。
* 为优化提供明确的方向，缩小与 P80 天花板的差距。
* 量化优化带来的收益。

七、结语与展望

SynPerf 展示了一种全新的 GPU 性能建模范式。它不追求纯粹的解析，也不迷信纯粹的数据，而是巧妙地将领域知识（硬件流水线、调度机制）与数据驱动的学习能力结合在一起。

• 对研究人员而言，SynPerf 提供了一个高精度、高泛化性的性能模型，可以加速架构设计和系统仿真。
• 对工程师而言，SynPerf 的“性能天花板”诊断能力，为优化生产级内核提供了前所未有的洞察力，如同有了一位经验丰富的导师，告诉你：“你的代码在 A40 上还可以快 1.7 倍，试试调这几个参数！”

未来，SynPerf 的团队计划将其扩展到更复杂的分布式场景（如多节点集群、专家并行等），并开发自动化工具，让模型不仅能诊断问题，还能自动搜索最优配置，真正实现“自我优化”的 AI 系统。

在这个算力即权力的时代，SynPerf 这样的工具，正在让我们对算力的理解和使用，从“黑盒的粗放式”走向“白盒的精细化”。这或许就是 AI 基础设施走向成熟的必经之路。

关注“鲸栖”小程序，掌握最新AI资讯