Transformer 是当前大语言模型（LLM）发展的核心基础，但一些顶尖研究者正积极寻求替代路径。其中甚至包括 Transformer 的创造者之一、Sakana AI 联合创始人兼 CTO Llion Jones。他在 Sakana 的官方博客中直言不讳地写道：“为什么 Transformer 的这位创造者受够了 Transformer”。
“我不是说我们应该扔掉 Transformer。但就我个人而言，我正在大幅减少研究它们的时间。我明确地在寻找下一个目标。” Jones 表示，“让我们一起加大探索力度。别再纠缠于同一个地方，去寻找下一座高峰吧。”
恰在同一天，The Information 的报道揭示了一家名为 Core Automation 的新创公司，其创始人、前 OpenAI 研究副总裁 Jerry Tworek 正致力于探索这“下一座高峰”。
在 OpenAI 任职期间，Tworek 曾担任研究副总裁，负责强化学习领域，并对推理模型、编程工具和 AI 智能体的开发做出了关键贡献。
据知情人士透露，成立仅数周的 Core Automation 正寻求 5 亿至 10 亿美元的融资。报道称，Tworek 计划采用一条与 OpenAI、Anthropic 等主流厂商截然不同的技术路径。其核心目标是开发具备“持续学习”（Continual Learning）能力的模型，使其能够从现实世界的实践中即时获取知识，而这是当前主流 AI 模型尚不具备的“边练边学”能力。
目前，该创业计划仍处于早期阶段，融资规模和产品路径可能发生变化。若成功，Core Automation 或可与 Safe Superintelligence、Thinking Machines Lab 并称为探索非 Transformer 方向的“OpenAI 三子”。
事实上，Core Automation 并非孤例，它代表了一个规模虽小但日益壮大的研究群体。他们认为 AI 领域需要一场“彻底的变革”，因为当前主流技术难以在生物、医学等领域取得根本性突破，且无法根除 AI 常犯低级错误的顽疾。
Tworek 本月初离开 OpenAI，并在 X 上表示此举是为了“探索那些在 OpenAI 内部难以推进的研究方向”。
根据融资材料，Core Automation 仍会使用大型神经网络，但将重新审视模型开发的每一个环节，甚至包括训练神经网络的基础方法“梯度下降”。知情人士称，Tworek 计划开发一种对数据和计算资源需求更低的模型，通过构建全新架构来取代 Transformer，并将原本割裂的训练步骤整合为单一流程。
在追求“持续学习”的目标上，Core Automation 与由前 OpenAI 首席科学家 Ilya Sutskever 共同创立的 Safe Superintelligence 不谋而合。Sutskever 也曾表达过让模型在现实部署中不断进化的愿景。此外，从 Meta 离职的 Yann LeCun 也在探索类似方向。当然，OpenAI 和 Anthropic 等巨头也并未忽视这一领域，一些研究者认为通过对现有 Transformer 模型进行微调，也能实现类似特性，无需彻底推倒重来。
Tworek 宏大的融资目标也反映了资本市场对“新实验室”的持续热情。近期，多家尚无收入或产品的 AI 初创公司获得了巨额投资。例如，Humans& 本月以 44.8 亿美元估值完成了 4.8 亿美元种子轮融资；Mira Murati 的 Thinking Machines Lab 也在洽谈一笔 40 亿至 50 亿美元的融资。
Tworek 于 2019 年加入 OpenAI。在他的构想中，Core Automation 将围绕一个名为“Ceres”（取自罗马谷物女神及矮行星之名）的单一算法和模型展开工作，这与主流厂商将训练分为预训练、中期训练和后期微调的模式大相径庭。其目标是使模型所需的数据量比现有最先进模型少 100 倍。
模型研发成功后，公司将开发 AI 智能体来自动化生产其产品。其远景规划始于工业自动化，最终目标甚至包括建造“自我复制工厂”、研制自动生成定制设计的生物机器，以及改造地外行星的生态。
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：http://www.itsolotime.com/archives/19535