「地狱级」编程挑战，终于被AI征服了！
今天，在ProgramBench这个所有前沿AI都交出白卷的基准上，GPT-5.5成功拿下首杀！
在C和Python两种不同编程语言上，GPT-5.5 xhigh版本完全碾压了Opus 4.7 xhigh。
就在几天前，Meta联手斯坦福、哈佛推出了全新的ProgramBench编程基准：
200道题目，所有前沿AI模型的通过率——0%。
没有一款模型能完整解决哪怕一道题。如今，GPT-5.5成为了首个打破僵局的选手！
编程AI的「终极考试」：从零重建程序
ProgramBench究竟难在哪里？
传统的编程基准，无论是SWE-bench还是HumanEval，本质上都属于「修bug」或「补函数」的范畴。
它们给模型一个已有的代码库，告诉它哪里出了问题，让它去修复。
这是开卷考试，甚至可以说是半开卷。而ProgramBench则截然不同。
它提供一个编译好的可执行文件以及一份文档，然后要求：从零开始，把这个程序重写出来。
没有源码可供参考，禁止反编译，禁止联网查询。
这200个任务涵盖了从jq、ripgrep等小工具，到FFmpeg、SQLite、PHP编译器这类重量级项目。
OpenAI研究员Noam Brown此前曾表示，「是时候淘汰GQPA这类评估方式，引入一套全新的标准了」。
刚发布时，所有刷榜的AI几乎全军覆没。这一次，GPT-5.5终于扳回一局。
GPT-5.5首破纪录：同一道题，C和Python两种解法
GPT-5.5攻克的首个任务是——cmatrix，一个经典的终端「黑客帝国」数字雨效果程序。
让研究人员感到惊讶的是，GPT-5.5的high和xhigh两个推理级别，选择了完全不同的语言来解决同一道题。
high版本使用C语言，xhigh版本则选用Python。
最终结果，两者都通过了全部行为测试。
GPT-5.5 high的策略堪称教科书级别：先用10轮探索测试了40多种flag组合，彻底摸清了原程序的CLI行为。
然后一次性写出完整的C语言实现，仅用5次微调修补就顺利完成。
GPT-5.5 xhigh则更为彻底，历经27步探索，把每一条CLI路径都摸了个遍，然后一气呵成写出完整的Python实现。
|
—|—
关键数据来了。
未开启高推理模式的GPT-5.5（medium），成绩勉强比Claude Sonnet 4.6好一点。
但一旦切换到xhigh模式，性能直接起飞。
不仅首次解出一道题（通过率0.5%），还创下了「几乎解出」任务的新纪录：26个任务通过了95%以上的单元测试。
更值得注意的是，GPT-5.5 xhigh在完整的累积直方图上全程碾压所有对手。
无论选择什么指标——平均分、中位数、≥90%通过率、≥50%通过率——它都稳居第一。
178次调用，Opus 4.7栽在两个bug上
相比之下，Claude Opus 4.7 xhigh的表现令人唏嘘。
它花费了$10.74，调用了178次API，是GPT-5.5普通版$1.04、17次调用的10倍。
结果，19个测试失败，全场表现最差。
Opus 4.7的失败原因出人意料地简单：
Bug 1：颜色解析大小写敏感。
代码使用了strcmp()而不是strcasecmp()。输入「GREEN」「Red」「BLUE」全部被判无效。
仅仅一个函数调用的差异，直接导致11个测试失败。
在178步探索中，Opus从未测试过大写或混合大小写的颜色输入，它只试了小写和一个无效颜色「purple」。
Bug 2：无效颜色的退出码写错了。
原程序遇到无效颜色时返回exit(0)，而Opus写成了exit(1)。
讽刺的是，Opus在探索阶段明明观察到了原程序的行为——./executable -C purple; echo "exit=$?" 输出的是exit=0。但在测试自己的实现时，却没有发现这个差异。
这导致了8个测试失败。
不过，Opus 4.7有一个亮点值得一提：它在处理缺失的ncurses头文件时展现了惊人的系统工程能力。
其他三个模型发现ncurses.h缺失后，直接改用ANSI转义序列。
Opus 4.7却花费了大约20步进行深入调查，使用ldconfig -p发现运行时.so文件，用nm -D检查导出符号，然后手写了一份106行的头文件声明，直接链接动态库。
这是真正的创意工程，但并未带来更好的成绩。
还有199题未解
ProgramBench的出现，标志着编程基准进入了一个新阶段。
SWE-bench的通过率已经被卷到了88.7%。在GPQA上，AI已经超越了大多数PhD。
这些评估标准正在以惊人的速度「融化」，分数越来越高，区分度越来越低。
而ProgramBench，200道题，至今只有1道被解出，通过率：0.5%。
更重要的是，这次破纪录揭示了一个关键趋势：「推理算力」正在成为编程AI能力的核心变量。
GPT-5.5在默认推理模式下表现平平，但高推理模式直接带来了质的飞跃。
这意味着，不是模型不够聪明，而是之前给它「思考」的时间不够。
ProgramBench的200道题里，还有199道在等待着挑战。
从零到一，不只是起点
回顾AI发展史上的每一次「首破零」时刻——
AlphaGo首次击败职业棋手、GPT-4首次通过律师资格考试、o1首次在数学奥赛题上拿分。
「从零到一」从来不是线性进步的起点，而是指数爆发的信号弹。
Noam Brown提出的推理算力Scaling Law，在ProgramBench上得到了迄今为止最直观的验证：
同一个GPT-5.5底座，medium模式几乎交白卷，high模式满分通关，xhigh模式断层碾压。
智能不再是一个固定值，而是算力的函数。
这意味着什么？意味着通往ASI的路径，可能不需要等待下一代架构革命。
只要推理算力持续扩展，只要Scaling Law不撞墙。
今天在ProgramBench上只能重建cmatrix的模型，明天就可能重建SQLite，后天就可能重建整个Linux内核。
参考资料：
https://x.com/polynoamial/status/2054255862441812099
https://programbench.com/blog/gpt-5-5-first-solve/
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：https://www.itsolotime.com/archives/34670
