在大型语言模型疯狂内卷的当下，人们似乎早已习惯它们在各式榜单上刷出接近满分的准确率。然而，在名为 ARC-AGI-3 的基准测试中，被誉为当前“最炙手可热”的两款顶尖模型——OpenAI 的 GPT-5.5 与 Anthropic 的 Claude Opus 4.7，却双双遭遇“滑铁卢”。
近日，ARC Prize 官方发布了一份针对这两款顶级模型的深度分析报告，结果令人大跌眼镜：在应对从未见过的逻辑任务时，两者的得分均低于 1%。具体而言，GPT-5.5 的得分为 0.43%，而 Claude Opus 4.7 更是仅有 0.18%。
这意味着，即便拥有千亿级别的参数规模与近乎无限的算力支撑，这些模型在处理“全新逻辑环境”时的表现，竟然还不如一个 6 岁孩童。
这究竟是怎么回事？
ARC-AGI-3：智能的“真伪试金石”
要理解这一成绩，首先得了解 ARC-AGI-3。这是由 Keras 之父 François Chollet 创立的基准测试系列的最新版本，于今年 3 月正式发布。
François Chollet 当时指出，只有当一个人工智能系统在首次接触所有环境时，其行动效率能达到或超越人类水平，才算真正“攻克”了 ARC-AGI-3。
根据团队进行的大量人类测试结果：在没有经过任何先验训练、且没有任何说明指引的情况下，人类在初次接触时能够 100% 地解决这些环境中的难题。而与之形成鲜明对比的是，目前所有前沿 AI 推理模型在该测试上的表现均低于 1%。
彼时，OpenAI 的 GPT-5.5 与 Anthropic 的 Claude Opus 4.7 尚未发布。如今来看，这两款模型也未能逃脱这一命运。
具体而言，ARC-AGI-3 由 135 个全新环境构成，每个环境均由人类手工精心设计，旨在测试模型面对“未知”时的应对能力。
对于测试者来说，无论是人类还是 AI，进入环境后都不会获得任何玩法说明。要想前进并取得进展，必须做到以下几点：
- 探索未知界面；
- 从稀疏的反馈中推断规则（构建世界模型）；
- 提出并验证假设；
- 从错误中恢复；
- 将经验迁移到下一关（持续学习）。
每个环境的构建都刻意剔除了模型通常依赖的文化知识，仅保留“抽象推理能力本身”。
换言之，可以将 ARC-AGI-3 理解为一个在“新颖性、模糊性、规划、适应性”方面的最低共同测试集合。而这些，恰恰是现实世界任务对智能体的核心要求。因此，ARC-AGI-3 也被公认为目前最接近“人类智能本质”的测试。
顶尖模型纷纷“败北”背后的三大失败模式
此次，GPT-5.5 与 Claude Opus 4.7 的得分均低于 1%，这一成绩固然令人“心痛”，但相比于成绩，探究其背后的失败原因似乎更为重要。
ARC Prize 研究团队通过分析 160 组完整的运行轨迹（涵盖模型的每一步操作与推理过程），总结出了导致模型“崩溃”的三大核心失败模式：
一、真实的局部反馈，虚假的世界模型
模型能够理解哪一步动作产生了变化（局部反馈），但却无法将这种因果效应转化为一套通用的全局规则。
这是最为明显的一个原因。例如，在一个需要旋转物体以匹配插槽的任务中，模型能够识别出“我按下这个键，物体可以旋转”这一局部规律，但它无法将此逻辑上升为全局目标，并进一步推理出：“旋转会影响结果，因此我需要在行动前调整物体方向以匹配目标。”
换句话说，模型失败并非因为它们“看不见”，而是因为它们无法将观察到的现象整合成一个完整的世界模型。
例如，Claude Opus 4.7 在执行任务 “cd82” 时，在第 4 步已经意识到执行 “ACTION3” 可以旋转容器，随后在第 6 步也观察到执行 “ACTION5” 可以倾倒或蘸取油漆。然而，它始终无法将这些碎片化的认知转化为一个完整的逻辑策略，即“先调整桶的方向，然后再蘸取油漆，以还原左上角的目标图像”。
Claude Opus 4.7 理解 ACTION3 旋转物体，但未能理解游戏的概念。
再比如，在任务 “cn04” 中，Claude Opus 4.7 虽然发现了一个成功的“旋转后放置”交互逻辑（这是正确的假设，见第 23 步），但随后却陷入了追求“整体形状重叠”的误区（错误假设），并为了追求“顶行进度”的假象而偏离了目标（见第 60 步）。
二、被训练数据“绑架”的抽象思维
模型对当前环境产生了误判。由于受到训练数据的影响，它们会将一个全新的“ARC-AGI-3”任务误认为是在玩另一种已知的游戏。
这种失败模式源于模型对训练数据的“错误抽象”。在多次运行中，模型反复尝试通过将其映射到已知游戏来解释陌生的机制，这些游戏包括：“俄罗斯方块”“青蛙过河”“推箱子”“粉末游戏”“填充颜色”“打砖块”等。
虽然从核心先验知识中提取抽象概念在理论上有助于解决问题，但这些来自训练数据的字面类比反而“绑架”了模型的动作选择，从而演变为：局部视觉相似，导致被误认为完整的游戏规则，行动方向被带偏。
例如，在任务 “cd82” 中，GPT-5.5 的思维被锚定在了流沙、物理模拟或“填充颜色”的游戏机制上；而在任务 “ls20” 中，它将本应是按键组合的逻辑误判为了“打砖块”。
三、通关了关卡，却没学会规则
模型侥幸通过了某个特定关卡，却无法利用那个成功的奖励信号来强化并执行正确的后续操作。这说明，“通关并不等于理解”。
Claude Opus 4.7 的两次记录很好地说明了这一点。
在任务 “ka59” 中，Claude Opus 4.7 用 37 步完成了 Level 1，但它对“点击”这一操作的理解其实是错误的——它认为点击是在“传送当前角色”。虽然结果看起来像是一次干净利落的胜利，但本质上只是对底层机制的误读，恰好碰上了一个比较宽容的关卡。
因此，当进入 Level 2，需要真正的机制（形状匹配与推动）时，Opus 将这种错误理解进一步固化为“点击每个目标来填充它”。结果可想而知，整个过程彻底偏离、崩溃，且无法恢复。
Opus 4.7 正在运行任务 “ka59”，陷入了“盲目点击（Click-fishing）”的死循环，游戏得分：2.04%。
在任务 “ar25” 中也是如此。Opus 在 Level 1 通过对“镜像移动”的正确解读成功通关（见第 4 步）；随后在 Level 2，它实际上已经发现了新的“可移动轴”机制（见第 227 步），但紧接着它又陷入了幻觉，开始臆想出诸如“打孔”或“需要翻转”等并不存在的规则。
在这两种情况下，Level 1 的成功掩盖了模型对底层机制的缺失或扭曲。这种“局部胜利”反而为错误的 Level 2 策略提供了一个看似自信的支撑框架。
这也说明，早期关卡的推进并不能可靠反映模型是否真正理解了任务。如果没有明确检验模型“为什么能过关”，它就会把错误的认知带入下一关，并在此基础上不断放大偏差。
GPT-5.5 vs Opus 4.7：不同的“翻车”姿势
有趣的是，虽然 GPT-5.5 和 Opus 4.7 的得分成绩都不尽如人意，但研究团队通过对比两者的运行记录发现，它们的失败方式完全不同。
简单来说就是，Claude Opus 4.7 的问题是“压缩错了”，而 GPT-5.5 的问题则在于“压缩不了”。
具体来看，Opus 4.7 在短周期机制识别上表现更为突出。以任务「ar25」为例，它能迅速察觉镜像结构，并顺利通关 Level 1；在任务「ka59」中，即便世界模型尚不完整，它依然能解读出「双角色、双目标」的布局，并完成较短的 Level 1 操作序列。
然而，问题在于它同样容易抓住一个错误的「恒定特征」，并固执地持续执行。
例如在任务「cn04」中，它构建了一套基于「进度/计时/转换」的错误理论，并在此假设下反复尝试操作（直至第 60 步）。它确实形成了一套「可运行的解释」，只是这套解释与事实相悖。
GPT-5.5 则走向了另一个极端。它的「假设生成」范围更广，这使得它更有可能提出正确的思路，但同时也更难以将思路转化为具体行动。
比如在任务「ar25」中，它识别出了镜像效应，却不断重新打开「可能的游戏类型空间」，在「俄罗斯方块」「青蛙过河」「乒乓球」「汉诺塔」之间反复摇摆，始终无法坚定执行镜像逻辑。而在任务「ka59」中，它也构建出了正确的对象结构——两个目标轮廓和一个可切换的第二角色——但从未真正落实这一理解。
换言之，Claude Opus 4.7 类似于「过度自信的直觉主义者」，而 GPT-5.5 则更像「思维发散的理论家」。
归根结底，两者之间的差异在于「压缩」能力的不同：Claude Opus 4.7 将观察压缩成一个「自信但错误」的理论，而 GPT-5.5 几乎无法完成压缩，始终停留在分散的可能性中。
不得不承认，此次 Claude Opus 4.7 和 GPT-5.5 在 ARC-AGI-3——这一目前最接近「人类智能本质」的测试中双双低分，揭示了一个现实：AGI 之路「道阻且长」。
那么，你如何看待 AI 的这一表现？欢迎在评论区留言交流！
参考链接：
https://x.com/fchollet/status/2050328852107612559
https://arcprize.org/blog/arc-agi-3-gpt-5-5-opus-4-7-analysis
https://x.com/GregKamradt/status/2050262126120632554
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：http://www.itsolotime.com/archives/32979
