Scaling Law

活久见！ 一位生活在1931年之前、训练数据里从未接触过任何计算机的AI，跨越了将近一个世纪的时光—— 竟然写出了Python代码？！！ 家人们，这真不是科幻小说…… 模型名为 talkie-1930-13b。 操盘手是AI研究员Nick Levine、多伦多大学副教授David Duvenaud，以及大家熟悉的那位——真·GPT系列之父 Alec Radf…

近期，具身智能领域竞争激烈，堪称“神仙打架”。 先是 Generalist AI 发布了 GEN-1，凭借极高的数据效率和闭环控制能力刷新了多项操作纪录，引发行业震动。 两周后，具身赛道的另一位重量级玩家 Physical Intelligence 也推出了新模型 π 0.7，主打“组合与泛化”，对 VLA 架构进行了进一步升级。 尽管两者的技术哲学截然不同…

一张 H100 相当于多少个 Hadoop 实例？ 让我们从一个引人深思的问题开始：站在2026年的当下，一张 H100 GPU 的单卡算力（FP16）大约相当于多少个 Hadoop 实例？ 答案是：约 200 个（基于单卡 H100 与一台 96 核 CPU 实例的对比）。 这个数字背后揭示了一个值得关注的现象：过去几年，AI 的快速发展推动了算力的指数级…

机器人“内卷”新高度：Gen-1模型成功率99%，效率提升3倍，具备“即兴”处理能力 具身智能公司Generalist发布了其最新研究成果——Gen-1模型。该模型在精细操作任务上表现卓越，将机器人执行的成功率从64%大幅提升至99%，同时效率也显著提高。 以折叠标准纸箱为例，此前完成该任务平均耗时约34秒，而Gen-1仅需12.1秒即可完成，效率提升近3倍…

大模型扩展的困境 大模型的发展长期遵循一条铁律：依据Scaling Law堆叠参数和数据，模型性能便会遵循负幂律持续提升。然而，这条道路正变得日益昂贵，因为传统的扩展方式始终无法摆脱一个根本性束缚——参数规模与计算量的深度绑定。 在传统的稠密模型中，扩展逻辑简单直接：加宽网络或加深层数。随之而来的硬伤是：参数规模一旦暴涨，计算量和显存需求便会线性飙升。在高质…

从3000小时到20000小时：真实数据验证Scaling Law 从3000小时到整整20000小时。 真实世界数据中的Scaling Law，直接催生了一个强大的VLA（视觉-语言-动作）基座模型！ 这就是蚂蚁灵波最新开源的具身智能基座模型——LingBot-VLA。 为何称其为当前最强？首先看数据。 仅从“20000小时”这个规模来看，LingBot-…

2024年底，硅谷和北京的业界人士都在讨论同一个令人不安的话题：Scaling Law似乎正在撞墙。 当时，尽管英伟达的股价仍在飙升，但多方信源显示，包括备受期待的Orion（原计划的GPT-5）在内，新一代旗舰模型在单纯增加参数规模和训练数据后，并未展现出预期的边际效益提升。同时，也有研究认为高质量预训练数据将很快耗尽，甚至预测了明确的时间节点：2028年…

Anthropic联合创始人Jack Clark近期参与了一场深度对话，同台的还有知名前对冲基金经理Michael Burry、Dwarkesh播客创始人Dwarkesh Patel以及软件创业者Patrick McKenzie。 四位业界人士的讨论揭示了关于AI生产力的一些反直觉细节和数据。 AI工具真的提升了生产力吗？多数人的直觉答案是肯定的，但Jack…

30B的小模型，竟然在重量级Agent基准测试上，超越了万亿参数的Kimi K2T？ MiroThinker v1.5的开源，似乎正在悄然改写行业长久以来对参数规模的迷信。这不仅仅是一次模型迭代，其背后以“交互深度”为核心的训练思想，可能正在定义Agent发展的新范式。 L3的影子 过去几年，AI性能的提升主要围绕两个轴心：数据规模与上下文长度。然而到了20…

我并不认为Scaling Law已经完全结束了 。 正当学生Ilya为Scaling Law“泼下冷水”时，他的老师、AI教父Geoffrey Hinton却发表了上述截然相反的观点。 这一师徒观点的对立，不禁让人回想起两件往事。 一是Ilya几乎从学生时代起就坚信Scaling Law，不仅积极向身边人推介，还将这套理念带入了OpenAI，堪称Scalin…