在 AI 辅助编程工具的实际应用中，一个值得深思的现象正在浮现：用户对 Agent 的不满，往往不是因为它“做不到”，而是因为它“做得不对”。通过观察用户反馈，最高频的抱怨指向同一个问题：Agent 不遵循明确给出的指令。这些场景或许并不陌生——用户在系统提示中明确要求“不要使用 emoji”，Agent 却在代码注释里加上表情符号；用户要求“先备份再修改”，Agent 直接执行删除操作；用户在项目文档中规定了命名规范，Agent 却自行其是。这些问题的共同特征揭示了一个关键矛盾：任务最终可能完成了，但过程违反了规范。用户需要的不只是“能运行的代码”，更是“符合团队协作规范的代码”。而这个看似简单的要求，却暴露出当前 Coding Agent 评测体系的根本性缺陷。

为什么 Coding Agent 需要新的评测范式

只有遵循过程规范的 Coding Agent 才能被放心地引入真实的软件工程流程，而目前主流的评测体系就出现了明显的盲区。随着 Claude Code、Cursor、Windsurf 等 Agent 产品的普及，开发社区正在形成一套面向 Agent 的协作协议体系。项目不再只是代码的集合，而是包含了多层次协作规范的完整系统：

• 仓库规范文件（如 CLAUDE.md、AGENTS.md）：明确告知 Agent “这个项目的协作规则”——命名约定、测试流程、禁用的危险操作等。
• Skills 机制：封装可复用的工作流程（如“生成 API 文档”），Agent 需要正确识别触发时机并按规范调用。
• Memory 系统：跨会话保存用户偏好和任务进度，Agent 需要基于历史状态继续工作，而非每次从零开始。

这些机制的出现，本质上是在构建一个多层级的指令约束系统。当用户说“帮我重构这个模块”时，Agent 需要同时满足多个层级的要求：系统层面的安全规则（不能直接删除代码）、用户的即时指令（重构的具体目标）、仓库中明确写下的工程规范，以及历史记录中已经做出的决策。

更复杂的情况是，这些指令源之间可能产生冲突。用户临时说“这次先不写测试”，但 AGENTS.md 里明确要求“每次提交必须有测试覆盖”——Agent 该遵循哪个指令？这种冲突场景在实际使用中频繁出现，却很少被评测体系覆盖。

然而当前的主流评测榜单，无论是 SWE-bench verified，还是各类基于终端环境的测试，其核心理念几乎都是结果导向：测试是否通过？Bug 是否修复？这种评测方式根本无法刻画模型在执行过程中的行为规范，更无法反映复杂现实场景中的真实交互体验，最终导致了评测与实际使用场景的严重错位。

OctoCodingBench：关注过程而非仅仅结果

要解决这个问题，评测范式本身需要发生根本性转变——从关注“做到了什么”转向关注“如何做到的”。基于这一理念，MiniMax 团队推出了 OctoCodingBench，这是一个专注于过程合规评测的新基准。它从两个维度进行评测：

• Check-level 准确率（CSR）：衡量 Coding Agent 遵循了多大比例的规则。
• Instance-level 成功率（ISR）：衡量 Coding Agent 是否完整遵循了每个任务的所有规则。

这种评测方式能够充分观测模型在完成任务时出现的过程指令不遵循问题，尽可能接近真实用户体验。一个合格的 Coding Agent，需要在完成任务的同时遵循：

• System Prompt 中的全局约束（语言、格式、安全规则）
• User Query 的多轮指令更新
• System Reminder 提供的脚手架指令
• Repository 规范文件（如 CLAUDE.md/AGENTS.md）中的代码风格、提交规范
• Skills 文档的正确调用流程
• Memory/Preferences 中记录的用户偏好和项目状态

评测结果揭示的关键发现

基于 OctoCodingBench 的评测数据，我们可以观察到几个值得关注的现象：
不同交互轮次下ISR的变化

1. 单项能力与整体合规存在巨大鸿沟
   所有模型的 Check-level 准确率（CSR）都能达到 80% 以上，但 Instance-level 成功率（ISR）只有 10%-30%。这意味着模型在单项约束上表现不错，但一旦要求“全部规则同时满足”，成功率就出现断崖式下跌。这个数据揭示了一个重要问题：模型并非不理解单个规则，而是在多约束并存的复杂场景下，难以维持全局的规范遵循。

2. 过程合规能力随交互轮次递减
   绝大多数模型的指令遵循能力会随着交互轮次的增加而逐渐下降。这印证了“过程合规”在长流程任务中的脆弱性——模型可能在前几轮严格遵循规范，但随着上下文变长、任务变复杂，规范遵循能力就开始退化。

3. 现阶段模型普遍未达到生产级要求
   从榜单数据来看，即便是表现最强的 Claude 4.5 Opus，其 Instance-level 成功率（ISR）也仅为 36.2%。这意味着在近三分之二的任务中，模型虽然可能写出了能运行的代码，但在过程规范上依然存在违规。这一数据明确揭示了一个事实：Coding Agent 的“过程规范遵循”尚未被业界充分重视和优化。目前的模型严重偏向于“结果正确”，而忽视了“过程正确”。

4. 开源模型展现强劲追赶势头
   值得关注的是，MiniMax M2.1 和 DeepSeek V3.2 的 ISR 分别达到了 26.1% 和 26%，已经超过了 Claude 4.5 Sonnet（22.8%）和 Gemini 3 Pro（22.9%）等知名闭源模型。这表明开源社区在过程合规能力上正在快速进步，展现出极强的竞争力。

下一代 Coding Agent 的演进方向

基于这些观察，下一代 Coding Agent 的优化需要引入过程监督（Process Supervision）机制：

细粒度的过程监督

不只监督模型的“测试通过”，还要监督“遵循命名规范”、“正确使用 Skills”、“没有泄露系统信息”等过程性行为。这需要将过程合规拆解成可观测、可量化的原子指标。

层级化的指令遵循

在训练数据中标注指令冲突场景，让模型学会在冲突情况下如何根据指令层次的优先级做出决策。这不仅是技术问题，更是对 Agent “理解协作规则”能力的根本性提升。

可验证的检查清单

把“指令遵循”从模糊的整体印象，拆解成可自动化检查的原子约束。这些检查清单既能用于评测，也能作为强化学习的信号来源，形成闭环优化。

写在最后：从 Demo 到生产的关键一步

Coding Agent 的能力边界，正在从“能否写出能运行的代码”转向“能否在复杂约束下协作式地完成任务”。这也映射出产品哲学的深层转变：Agent 不是要替代人类开发者，而是要成为懂规矩、守纪律的团队成员。因此，过程规范才是 Coding Agent 进化的核心命题。

当评测体系开始关注过程而非仅仅结果，当我们能够捕捉“违规但成功”的危险模式，Coding Agent 才能真正从演示环境走向生产环境。OctoCodingBench 的推出为这一方向提供了重要的评测基础设施，值得行业持续关注和探索。

关注“鲸栖”小程序，掌握最新AI资讯