内容来源 —— “We’re Ahead of Where I Thought We’d Be — Gemini 3 & the Future of AI”
观看网址：https://www.youtube.com/watch?v=cNGDAqFXvew
在AI模型性能持续突破的今天，我们或许需要重新审视一个问题：驱动智能进化的，究竟是偶然的算法灵感，还是可复制的工程方法论？
近期，Google DeepMind的Gemini 3预训练负责人Sebastian Borgeaud在其首次播客访谈中，揭示了一个与大众认知相悖的事实。这位开创性论文RETRO的合著者坦承，Gemini 3的性能飞跃并非源自某个颠覆性的架构创新，而是来自“更好的预训练 + 更好的后训练”这一看似朴素的组合。
这个答案乍听平淡无奇，却恰恰指向了当前AI研发的本质转变：我们正在告别依赖单点突破的时代，进入一个需要系统化工程能力的新阶段。
从“模型”到“系统”：复杂度管理成为核心竞争力
当被问及Gemini 3的核心改进时，Sebastian给出了一个耐人寻味的表述：“我们不再真正是在构建一个模型，实际上是在构建一个系统。”
这句话背后隐藏着深刻的范式转变。在大模型研发的早期阶段，性能提升往往依赖某个关键技术的突破——一个新的注意力机制，一种新的归一化方法。但在今天，任何单一改动都无法解释Gemini 3级别的性能跨越。
真正发挥作用的，是数百个微小优化的系统性叠加：数据清洗流程的改进、基础设施稳定性的提升、评测体系的精细校准，甚至包括团队协作效率的优化。每个环节1%的进步，在规模效应下最终汇聚成代际的性能飞跃。
这种转变对研发团队提出了全新的要求。Sebastian透露，仅Gemini 3的预训练团队就有数百人参与，涵盖数据、模型、基础设施、评测等多个专业领域。在这样的规模下，如何在保持创新活力的同时，控制系统复杂度，成为比单纯的算法设计更具挑战性的课题。
“研究品味”：对复杂性保持警觉的组织哲学
在多数人眼中，顶尖AI实验室的核心优势在于拥有最聪明的研究员。但Sebastian提出了一个更深层的视角：在DeepMind，好的“研究品味”意味着对复杂性保持极度敏感。
“如果一个想法能让模型提升5%，但会让其他所有人的工作难度增加5%，那这不是一个好的权衡。”
这个原则看似简单，实则揭示了大规模协作环境下的关键矛盾。每一项新增的复杂性都是技术债务——它可能拖慢训练流程、降低硬件利用率、增加后续维护成本，甚至让代码库变得难以理解。
这要求研究员必须具备“全栈视野”。一个优秀的改进方案，不仅要在数学上优雅，还要在工程上可行、在系统中兼容。这种将“研究 × 工程 × 基础设施”深度整合的能力，正在成为顶尖实验室难以被复制的护城河。
值得注意的是，这种组织哲学并非在扼杀创新，而是在引导创新朝着更可持续的方向发展。那些既能带来性能提升，又能保持系统简洁性的改进，往往具有更长久的生命力。
数据范式的静默转折：从“无限堆砌”到“精细提炼”
关于AI是否正在“撞墙”的讨论，在过去一年中持续发酵。悲观者认为，随着互联网数据被“吃光”，扩展定律即将失效。然而Sebastian的判断截然相反：“如果对自己诚实，我认为我们的进度甚至超出了几年前的预期。”
但他同时指出了一个关键的转折点：行业正在从“无限数据时代”转向“数据受限时代”。这并不意味着数据枯竭，而是意味着那种“无脑堆砌网络数据就能换来性能提升”的红利期结束了。
在过去，数据的价值主要体现在“量”上——只要把数据量翻倍，模型性能就会线性增长。但在今天，单纯增加数据的“量”已经无法推动前沿边界。研究的重心正在转向一个更具挑战性的方向：如何从有限的数据中提炼出更高质量的“燃料”。
这催生了一系列新的研究方向。比如通过架构创新，让模型在同等数据量下学到更多；或者通过合成数据和推理轨迹，从现有数据中提炼出更有价值的训练信号。这就像是从粗放的露天开采，转向精细的深度提炼——需要更高的技术含量，但也能带来更高的产出效率。
这种转变实际上让研究变得更加有趣。因为它不再是简单的资源竞赛，而是对数据理解、架构设计和训练策略的综合考验。
架构选择的代价与回报：多模态与MoE的权衡
在技术路线上，Gemini 3延续了两个关键选择：混合专家模型（MoE）和原生多模态。这两个决策都体现了DeepMind的长期主义思维——愿意为未来的能力边界，承担当下的工程复杂度。
MoE架构的优势已经被业界广泛认可：在保持庞大知识库的同时，通过稀疏激活大幅降低推理成本。但Sebastian也坦承，这种架构带来了显著的训练复杂度——需要精心设计路由机制，平衡各个专家的负载，处理专家之间的知识重叠。
更激进的是原生多模态的选择。与许多模型通过外挂视觉编码器来处理图像不同，Gemini 3从预训练开始就用同一个神经网络同时处理文本、图像、音频和视频。这意味着没有独立的“翻译”环节，模型是在直接“感知”多模态信息。
“没有专门处理图像的模块，也没有专门处理音频的模块。同一个神经网络，同时处理所有模态。”
这种架构带来了巨大的工程挑战和计算成本——图像和视频的Token数量远超文本，训练效率会受到明显影响。但Sebastian坚信这是值得的投资，因为只有原生多模态，模型才能捕捉到跨模态的细微联系，这对于未来AI理解物理世界至关重要。
这个选择体现了一个重要的研发哲学：不是所有的复杂性都应该被拒绝，关键在于区分“必要的复杂性”和“无谓的复杂性”。前者是通向更强能力的必经之路，后者则是应该被严格控制的技术债务。
Scaling Laws的新解读：规模仍有效，但不再是唯一变量
针对“Scaling Laws失效”的质疑，Sebastian给出了清晰的回应：Scaling Laws依然是推动性能提升最可预测的手段，这个物理规律并没有消失。但他也指出，人们往往高估了“纯规模”的作用，而低估了“架构 + 数据创新”的乘数效应。
在2025年，单纯靠“把模型做大”已经很难获得显著的边际收益，因为算力和数据的成本在指数级上升。未来的进步将由“规模、数据质量、架构效率”三驾马车共同驱动。
这解释了为什么DeepMind能在同等算力下训练出更强的模型。如果能通过优化数据配比，让1个Token发挥出过去10个Token的训练效果，这本身就是一种“隐性的扩展”。
这种“高效扩展”的思路，实际上为资源有限的研究团队指明了方向：与其盲目追求更大的算力池，不如专注于提升每一个计算周期的有效性。这需要对数据、架构和训练过程有更深入的理解，但也能带来更可持续的性能增长。
能力演进的两个方向：长上下文与深度推理
谈及未来的技术演进，Sebastian对两个方向表现出明显的兴奋。
首先是长上下文能力的深化。Gemini 1.5已经实现了百万级Token的窗口，但他认为这只是开始。未来的方向是将“检索”能力内化到模型中——不再依赖外部的RAG系统，而是让模型在预训练阶段就学会如何高效地“查阅”外部知识库。
其次是“深度思考”能力的崛起。这指的是模型在给出答案前，先生成一段内部的推理过程——形成假设、测试假设、调用工具验证，然后才输出最终答案。Sebastian将其比作从“直觉反应”向“深思熟虑”的进化。
这种能力的出现标志着AI从“知识引擎”向“推理引擎”的转变。它不再只是预测下一个词，而是在规划下一步的行动。这对于解决复杂问题、编写系统性代码以及执行多步任务至关重要。
值得注意的是，这两个方向都不是纯粹的规模扩展，而是需要在架构、训练范式和数据构建上做出创新。这再次印证了当前AI研发的核心特征：智能的进化需要系统性的工程突破，而非单一维度的暴力堆砌。
评测的隐秘战场：我们可能在错误的指标上自我欺骗
在访谈中，Sebastian 指出了一个被严重低估的挑战：评测体系的失效。
随着模型能力逼近人类水平，公开基准测试正迅速失去区分度。更严重的是“数据污染”问题——这些测试题目广泛存在于互联网上，很可能已被无意中吸入了模型的训练数据。如果模型只是“记住”了答案而非“学会”了推理，那么高分便成为一种危险的幻觉。
“外部基准很快就会被污染……如果在这些数据上训练，你很难知道自己是否真的在进步。”
这迫使顶尖实验室投入大量精力，构建内部、完全保密的评测集，甚至开发专门的模型来评估其他模型。如果无法准确测量智能的提升，就无法指导下一步的研发方向，甚至可能在错误的路径上浪费数月时间。
这一挑战揭示了一个深层次的矛盾：当模型变得足够强大，如何设计合适的考题本身就成了一个 AI 难题。这也解释了为何公开榜单上各家模型分数接近，但实际使用体验却差距明显——真正的能力边界，往往隐藏于那些尚未被标准化测试覆盖的复杂场景之中。
对于关注 AI 评测的我们而言，这提醒我们不应过度迷信单一的基准分数，而应建立更多元、更贴近实际应用的评测维度。
给研究者的启示：培养系统级的认知能力
对于有志于进入 AI 领域的研究者，Sebastian 给出了极具实践价值的建议：不要只盯着算法和模型架构，要培养“全栈系统感知”的能力。
在大模型时代，最稀缺的人才并非那些只会推导数学公式的人，而是那些能从底层硬件到上层数据流，通过全栈视野发现系统“缝隙”的人。因为在未来的竞争中，能发现并优化这些系统级瓶颈的人，将比纯粹的算法设计者创造更大的价值。
这个建议与他提到的“研究品味”概念一脉相承。真正优秀的研究员，需要在保持算法创新的同时，理解自己的工作如何嵌入到更大的系统中。这种系统级的思维方式，将成为区分优秀与卓越的关键。
同时，Sebastian 也提到了持续学习这个终极目标——让模型能像人类一样实时、增量地更新知识，而不会出现灾难性遗忘。这不仅需要架构突破，更需要训练范式的革新，是一个值得长期投入的研究方向。
写在最后
Sebastian Borgeaud 的这次访谈，为我们揭开了顶尖 AI 实验室研发的真实面貌。Gemini 3 的强大并非来自不可知的魔法，而是源于对系统工程的极致追求、对数据范式转移的敏锐捕捉，以及对“研究品味”的严格坚守。
在这个“数据受限”但“方法无限”的新阶段，AI 的进步将不再是简单的线性堆叠，而是关乎架构、数据和系统效率的复杂博弈。对于每一个身处其中的人，理解这背后的工程哲学，远比追逐表面的性能数字更有价值。
正如 Sebastian 所言：“我实际上看不到终点。”这场关于智能的探索，远未到达尽头。而那些能够在系统复杂度与创新活力之间找到平衡的团队，将在这场长期竞赛中占据优势。
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：http://www.itsolotime.com/archives/15318