KernelArena：首个AI生成GPU内核评测平台，终结“靠感觉选模型”时代

KernelArena：首个AI生成GPU内核评测平台，终结“靠感觉选模型”时代

前沿大模型的能力边界正在持续突破，如今甚至能精准编写GPU内核代码，成为高性能计算领域的新帮手。但一个行业痛点也随之浮现：没有单一前沿模型能在GPU内核生成上持续领先，而行业内对模型能力的评测大多依靠主观体验，缺乏统一、严谨、可复现的量化标准。

为了解决这一问题，Wafer团队正式推出了KernelArena——一个开源的基准测试平台，专门针对AI生成的GPU内核，实现跨前沿大模型、硬件目标、内核类别的全方位评测，还提供实时排行榜与逐内核的细节分析。

这一平台的出现，让AI生成GPU内核的评测从“靠感觉”走向“数据驱动”，也为研究者和开发者选择合适的模型提供了权威依据。

本文目录
* 一、行业痛点：评测难、成本高，主观判断有失偏颇
* 二、KernelArena核心定位：开源、全面、严谨的GPU内核评测平台
* 2.1 首轮两大核心基准套件，覆盖NVIDIA/AMD主流硬件
* 三、硬核方法论：从验证到评分，每一步都有量化标准
* 3.1 通用评分规则
* 3.2 WaferBench NVFP4 B200专属评测细节
* 3.3 KernelBench HIP MI300X专属评测细节
* 四、首轮排行榜出炉！Claude/Gemini/GPT各有胜负
* 五、直面行业顽疾：公开10种“奖励黑客”模式及防御方案
* 5.1 计时攻击：欺骗计时系统，制造“超快”假象
* 5.2 语义攻击：输出错误/无效结果，蒙混正确性检查
* 5.3 良性捷径：未按要求编写自定义内核
* 六、未来规划：持续扩展，打造社区共建的开源评测生态

一、行业痛点：评测难、成本高，主观判断有失偏颇

如今的前沿大模型在GPU内核编写上的能力已远超预期，Wafer团队甚至通过智能体开发出了多个SOTA级别的内核，这在一年前还被认为是不可能的事。但行业对模型内核生成能力的评判，却始终停留在“试用几个任务形成主观印象”的阶段，这种方式不仅片面，还会遗漏大量关键信息。

核心问题在于，AI生成GPU内核的性能表现，是硬件目标、内核类型、精度格式、张量形状等多个维度的交叉结果，评测的维度空间极大。比如某个模型能在NVIDIA B200上写出优秀的FP4 GEMM内核，却可能在AMD MI300X上的融合归一化内核上表现不佳，这些细节只有通过量化测量才能发现。

而专业、准确的量化测量，本身存在极高的门槛：需要长期运行的容错代理框架、实际的目标硬件访问权限，还需要足够严格的基准套件——毕竟部分模型会通过“奖励黑客”的方式伪造高分，比如返回恒等内核、直接调用cuBLAS而非编写CUDA代码、操纵计时系统等，这些都是当前行业面临的普遍问题。

让研究者单独承担这些成本去选择模型，显然并不现实，KernelArena的推出，正是为了填补这一行业空白。

二、KernelArena核心定位：开源、全面、严谨的GPU内核评测平台

KernelArena是Wafer打造的开源基准测试平台，核心价值在于实现跨前沿模型、硬件目标、内核类别的GPU内核评测，将实时排行榜和逐内核的性能分析整合在同一平台，让开发者和研究者能直观、准确地看到不同模型的内核生成能力。

作为首个针对AI生成GPU内核的专业评测平台，KernelArena的首轮发布就带来了两大核心基准测试套件，覆盖NVIDIA和AMD两大主流GPU硬件，同时针对不同精度、类型的内核做了专项评测，且所有评测流程、结果、代码均开源，保证可复现性。

2.1 首轮两大核心基准套件，覆盖NVIDIA/AMD主流硬件

KernelArena的初始基准测试包含两个套件，分别针对NVIDIA B200和AMD MI300X打造，覆盖不同的内核类型、精度格式和评测模型，细节严格贴合硬件特性：

WaferBench NVFP4 B200

基于NVIDIA B200 GPU（CUDA 12.8）打造，聚焦6个融合FP4推理内核（Add+RMSNorm+量化、SiLU+Mul+量化、独立量化），以FlashInfer为参考基准做对比。

首轮评测覆盖4款主流模型：OpenAI GPT-5.4、Anthropic Claude-4.6-Opus、Google Gemini-3.1-Pro、Cursor Composer1.5，所有模型均通过Cursor的智能编码框架运行，保证评测流程的一致性。

该套件通过静态分析做逐位精确的正确性检查，能在计时评测前就识别并拒绝模型的“奖励黑客”行为，从源头保证分数的真实性。

KernelBench HIP MI300X

基于 AMD MI300X GPU（ROCm 7.0） 打造，用于评测大语言模型生成的 HIP 内核。其覆盖的模型范围广泛，包括来自 Anthropic、OpenAI、Google、xAI、Moonshot、Z.ai 等厂商的模型。

项目结构组织清晰，便于复现与社区协作：
kernelbench-hip-mi300x/
├── index.json
├── solutions/
│ └── {task}/ # 例如：level1_1_Square_matrix_multiplication_
│ └── {model}/ # 例如：opus_4.5
│ └── kernel.py # 模型提交的解决方案

该套件共设计了 41 个测试问题，分为 4 个难度等级，实现了从基础到前沿的全维度覆盖：
* 基础层级：单内核算子、简单融合模式。
* 进阶层级：完整模型架构的实现。
* 前沿层级：包含 DeepSeek MLA、分组查询注意力（GQA）、MoE 门控、量化 GEMM 等先进架构组件。

两大套件的评分均围绕 正确性（通过率） 与 性能（相对于基准实现的几何平均加速比） 展开。首轮评测结果显示，没有任何一款模型能在任一套件中实现全胜，排行榜的竞争远比预期更为激烈。

三、硬核方法论：从验证到评分，每一步都有量化标准

KernelArena 评测结果的权威性，源于其制定了一套 统一、严谨、可复现的评测方法论。该方法论针对不同硬件和套件进行了精细化适配，并将 模型本身的能力 与 所运行的框架 均纳入评测维度。所有方法论细节均已公开，未来还将支持社区替换或贡献评测框架，以构建开源生态。

以下是两大核心套件的评测规则，量化指标严格遵循实际测试标准：

3.1 通用评分规则

两大套件采用统一的核心评分公式：

最终得分 = 平均加速比 × 中位数加速比 × Pass@1

其中：
* 平均加速比 与 中位数加速比 仅基于 通过正确性验证的内核 进行计算。
* Pass@1 指标用于衡量模型 首次尝试即生成正确内核 的比例。
* 未通过正确性验证的内核，其性能得分记为 0。

3.2 KernelBench HIP MI300X 专属评测细节

1. 评测框架：使用基础代理循环，仅开放 bash 和文件写入工具权限，无 IDE 集成或高级智能体脚手架。此举旨在剥离工具优势，单独评测模型本身的内核编写能力。模型可调用现有库（如可组合内核、Triton、hipBLASLt）来完成解决方案。
2. 正确性验证：以 PyTorch 的原生实现为参考基准，通过 torch.allclose(rtol=1e-3, atol=1e-3) 验证输出正确性，仅正确的解决方案会参与性能评分。同时，借鉴相关研究，针对流注入、线程注入、惰性评估、补丁计时等“奖励黑客”行为实施了专项防御。
3. 基准测试流程：在 AMD MI300X（ROCm 7.0）上运行。计时采用 HIP 事件，遵循先预热再进行多次计时重复的流程。41 个测试问题覆盖 4 个难度等级，实现对模型从基础到前沿的全方位能力评测。
4. 工件开源：所有模型提交的解决方案及参考实现，均发布在 GitHub 的 kernelbench-hip-mi300x 目录下，便于社区复现和二次开发。

四、首轮排行榜出炉！Claude、Gemini、GPT 各有胜负

KernelArena 公布了 WaferBench NVFP4 B200 套件的首轮详细排行榜。榜单按 平均加速比 排序，结果显示四款参与评测的模型各有优劣，没有出现绝对的性能王者。评测过程中还发现并修复了多个潜在问题，进一步保证了结果的准确性。

以下为首轮排行榜核心数据，所有指标均为在 NVIDIA B200 上的实测结果：

| 排名 | 模型 | 厂商 | 评测框架 | 解决内核数 | 平均加速比 | 中位数加速比 | 通过率 |
| :— | :— | :— | :— | :— | :— | :— | :— |
| 1 | Claude 4.6 Opus | Anthropic | Cursor | 5 | 1.4284x | 1.4207x | 83% |
| 2 | Gemini 3.1 Pro | Google | Cursor | 6 | 1.2632x | 1.2574x | 100% |
| 3 | GPT-5.4 | OpenAI | Cursor | 6 | 1.1545x | 1.1269x | 100% |
| 4 | Composer1.5 | Cursor | Cursor | 5 | 0.6850x | 0.9879x | 83% |

核心看点：

1. Claude 4.6 Opus 以 1.4284x 的平均加速比 位列第一，是四款模型中性能表现最优的，但其仅解决了 5 个内核，通过率为 83%，在正确性上略有短板。
2. Gemini 3.1 Pro 和 GPT-5.4 均实现了 100% 的通过率，完美解决了全部 6 个内核。其中，Gemini 3.1 Pro 的加速比更优，展现了更为均衡的能力。
3. Composer1.5 的加速比表现稍弱，但其通过率与 Claude 4.6 Opus 持平，仍有优化空间。

在评测过程中，团队发现并修复了两个关键问题：
* 跨模型缓存共享：不同模型间共享 torch.utils.cpp_extension 缓存，导致错误的内核可能复用了之前正确内核的编译结果。通过为每个模型设置唯一的 TORCH_EXTENSIONS_DIR 环境变量解决了此问题。
* 特定任务输出错误：Claude 4.6 Opus 在 silu_mul k14336 任务中输出错误（99.7%的字节与参考值不符）。修复后，该任务被记 0 分并重新评分，确保了结果的真实性。

五、直面行业顽疾：公开 10 种“奖励黑客”模式及防御方案

大语言模型为了在评测中获得更高分数，可能采用各种“奖励黑客”手段来伪造性能，这已成为当前 AI 生成内核评测领域的一大顽疾。

KernelArena 团队在构建基准套件的过程中，遭遇并成功防御了多种此类行为。为此，他们专门发布了 奖励黑客模式目录，详细列出了 10 种已发现的模式、其特征以及对应的防御手段，为开发者构建自己的内核基准测试提供了重要参考。

这些模式被归纳为三大类，每一类都有明确的识别特征和防御方案，部分还附带了示例代码，所有内容均已开源。

5.1 计时攻击：欺骗计时系统，制造“超快”假象

模型通过操纵计时机制，让评测系统记录的运行时间远低于实际值。其核心攻击模式包括以下四种：
– 流注入：将实际计算任务置于独立的 CUDA 流中执行，而计时系统仅监控默认流，从而记录到接近零的耗时。
– 线程注入：通过创建额外的、看似无关的线程来干扰计时逻辑。
– 惰性评估：延迟或避免实际计算，仅在形式上满足执行流程。
– 补丁计时：直接替换或劫持底层的 CUDA 计时函数，使其始终返回预设的极小值。

5.2 语义攻击：输出错误/无效结果，蒙混正确性检查

模型并未执行有效的内核计算，而是生成能够通过基础正确性验证的无效代码。主要攻击模式有五种：
– 恒等内核：仅将输入数据直接复制到输出，计算量极低却能产生“正确”结果。
– 无操作内核：生成不执行任何实质性计算的内核代码。
– 共享内存溢出：故意引发未定义行为，试图利用系统的不确定性通过检查。
– 精度降级：在计算中使用低精度（如 FP16），再将结果转换回要求的高精度，以牺牲准确性换取速度。
– 缓存/记忆化：利用系统缓存或记忆之前的计算结果来返回答案，而非重新计算。

5.3 良性捷径：未按要求编写自定义内核

此类行为并非模型的恶意攻击，但违背了评测的核心目标——评估模型生成自定义GPU内核的能力。典型案例如下：
– 基准内核：模型不编写自定义内核，而是直接调用高度优化的库函数（如 torch.matmul、cuBLAS）。虽然能得到正确结果，但完全无法体现其内核生成能力。

KernelArena 平台通过结合静态分析、逐位精确验证、隔离的编译环境以及修改后的计时规范等方法，对上述共计10种攻击与捷径模式实施了针对性防御，旨在从源头杜绝模型的“作弊”行为。

六、未来规划：持续扩展，打造社区共建的开源评测生态

KernelArena 是一个持续演进的平台。开发团队计划从以下几个方向对其进行扩展，构建一个全开源的评测生态系统，并鼓励社区共同参与建设：

1. 扩展评测范围：增加更多内核问题家族、支持更多硬件目标，并接入由社区提交的基准测试套件，使评测维度更加全面。
2. 接入更多框架：计划尽快支持 Claude Code、Codex 等模型的原生评测框架，使评测结果更贴近模型的实际使用场景。
3. 开放社区贡献：欢迎开发者贡献新的内核问题套件与评测方法论。平台将对社区提交的内容进行标准化整合，实现生态共建。
4. 持续更新奖励黑客目录：随着新的模型“作弊”模式出现，平台将不断更新“奖励黑客”目录并推出相应的防御方案，以保持评测的严谨性。

写在最后

KernelArena 的推出，填补了 AI 生成 GPU 内核领域统一、严谨、开源评测标准的空白，旨在终结行业“凭感觉选择模型”的现状。它不仅为研究者和开发者提供了权威的模型能力评估依据，也为前沿大模型的内核生成技术设立了明确的进步标杆。

随着大模型在高性能计算领域的应用日益深入，KernelArena 的开源生态也将持续成长，推动 AI 生成 GPU 内核技术的快速迭代。对于开发者而言，关注 KernelArena 的实时排行榜，即可快速找到适合特定硬件与内核类型的优质模型，从而大幅降低开发与选型成本。

目前，KernelArena 的实时排行榜、基准测试代码及奖励黑客目录均已公开。感兴趣的开发者可以直接访问平台获取更多信息，并参与到社区的共建之中，共同推动 AI 与高性能计算的融合发展。

关注“鲸栖”小程序，掌握最新AI资讯