合成数据
-
突破语言桎梏：用神经细胞自动机预训练大模型，性能提升6%，推理能力增强
如果有一天，大语言模型不再依赖人类语言进行训练，会发生什么？ 近年来，大模型能力的飞跃几乎都建立在一个前提之上：海量的文本数据。然而，随着高质量文本资源逐渐逼近极限，研究者开始提出一个更根本的问题：语言，真的是智能的起点吗？ 一项最新研究给出了一个出人意料的答案：或许不是。研究团队假设，让语言模型在学习语言之前，先在完全非语言的合成数据上进行“预预训练”（p…
-
Gemini3预训练负责人揭秘：从无限数据到数据受限，AI研究正演变为复杂系统工程
Gemini 3的逆袭，给业界带来了太多的惊喜和问号。 与此前不同的是，业界到现在似乎也没有逆向出Gemini3的秘方出来。 本周五，继谷歌两位大佬 Demis、Jeff Dean 播客访谈之后，终于有一位一线的负责人出来爆料了。这位可没有前面两位大佬嘴严。 Google DeepMind 的 Gemini 3 预训练负责人 Sebastian Bourjo…
-
英伟达NVARC小模型夺冠ARC-AGI 2：零预训练与合成数据策略解析
在近期公布的ARC-AGI 2竞赛结果中，英伟达NVARC团队凭借其4B参数的小模型以27.64%的公开榜成绩力压GPT-5 Pro（18.3%）登顶榜首，引发业界广泛关注。这一成就不仅展示了小模型在特定任务上的巨大潜力，更揭示了通过创新方法突破传统Scaling Law限制的可能性。本文将从技术策略、数据构建、模型优化等多个维度，深入剖析NVARC夺冠背后…
