“人类视频,是机器人理解并与物理世界交互的最关键路径。”
这一如今渐成行业共识的观点,其最早的提出者是一家国内具身智能初创公司——智在无界(BeingBeyond)。
在过去半年中,该公司在“海量人类视频训练”领域实现了两个重要里程碑:相继发布了全球首个基于1000小时与1万小时人类视频预训练的具身模型Being-H0与H0.5,率先开辟了“大规模人类视频驱动具身学习”的技术路线。随后,NVIDIA的EgoScale、Generalist AI的GEN-1等海外研究陆续跟进,也从侧面印证了这一方向的前瞻性。
作为该路线的开创者,智在无界于4月14日发布了第三代旗舰模型Being-H0.7。该模型将训练数据规模扩展至20万小时人类视频,并提出一种全新范式——基于潜空间推理的世界模型。在6项国际权威评测中,H0.7综合排名全球第一(其中4项单项登顶),同时也是首个覆盖跨本体、跨场景、连续动态、流体、柔性物体、物理规律与上下文推理等七大关键维度的通用世界模型。

- 项目主页:https://research.beingbeyond.com/being-h07
- 论文链接:https://research.beingbeyond.com/projects/being-h07/being-h07.pdf
Past・Present・Future:世界模型的分野
“世界模型”最初是一个朴素的概念:给定当前状态和动作,预测下一时刻的状态。

早在2018年,Jürgen Schmidhuber就在其《World Models》中系统阐述了用神经网络建模动力学的思路。但随着生成模型的发展,一个逐渐流行的误解也随之出现:世界模型等同于预测未来画面(逐像素生成)。
事实上,无论是Schmidhuber的原始设想,还是Yann LeCun团队提出的JEPA架构,都从未将“像素级预测”视为核心目标。原因在于,真实世界的“状态”远不等同于像素。物体间的空间关系、柔性物体的形变、流体的运动、摩擦与重力的作用……这些决定物理世界运行的关键因素,无法通过逐像素的图像完全表达。世界模型不应执着于复现“画面会变成什么样”,而应学会理解“世界为什么会这样变化”。
从产业角度看,NVIDIA当前的世界模型工作在一定程度上回归到视频生成路线,这与其“算力提供方”的角色天然协同,但对具身智能而言,这并非最优路径。
智在无界认为,一个理想的世界模型应同时具备两个核心能力:物理世界理解与物理交互。

(图示:现有AI模型范式在“物理理解-交互”坐标系中的能力分布,Being-H0.7在海量人类数据驱动下显著拓展了世界模型的能力边界。)
以此标准回顾AI发展路径:从LLM到VLM,再到AIGC时代的Sora、Genie 3,这些模型对视觉世界的理解不断加深,但始终停留在二维感知层面,缺乏与真实物理世界的交互能力。
近年来,随着VLA路线的兴起,π0.5、GR00T、Being-H0.5等模型通过在视觉语言模型上微调直接输出机器人动作。这虽赋予了模型执行任务的能力,但也带来了新问题:训练过程中多模态理解能力易被削弱,模型容易过拟合,很多时候是在“背答案”,而非真正基于环境做出判断。
为弥补这一缺陷,以英伟达Cosmos-Policy、DreamZero为代表的世界模型路线,尝试通过视频生成来建模交互。但这类方法不仅计算开销巨大、难以实时运行,且基于二维视觉表征的方式,本质上仍难以真正理解物理世界。
在此背景下,LeCun提出应构建更基础的世界模型以提升对真实世界的理解能力。而智在无界则更进一步,提出基于潜空间推理的全新范式,旨在同时拓展世界模型在“理解”和“交互”两个维度的能力。
20万小时人类视频:H0.7的“通用世界模型基因”
传统VLA模型只能基于当前观测预测动作,缺乏对未来变化的建模能力;而视频生成式世界模型则依赖像素级预测来“想象”未来,不仅难以抽象物理规律,还带来了巨大的计算负担。
事实上,人类视觉系统天然会过滤静态信息、强化对动态变化的感知,大脑中也存在专门处理运动的区域,用于自动抑制背景干扰。基于这一认知,Being-H0.7不再追求像素级重建,而是试图学习一种更高效的能力——类似“物理直觉”的快速判断机制。
因此,Being-H0.7选择了一条不同路径:不再显式生成未来画面,而是提炼那些真正影响未来行动的关键信息。
不同于VLA从当前观察直接映射到动作,或视频生成式世界模型引入庞大的预测模块,Being-H0.7在模型内部引入了一组可学习的中间变量(潜空间查询,latent queries),作为一块预留的“思考空间”。在前向过程中,模型将当前观测、任务目标以及对未来可能演化的判断压缩至这一空间,并由其统一指导最终的动作生成。

但这一“思考空间”本身并不天然具备对未来的建模能力。为此,Being-H0.7采用了双分支设计:一条路径在“未来可见”的条件下(后验分支),引导模型学习哪些中间判断真正有助于动作决策;另一条路径在“不可见未来”的真实部署条件下(先验分支),约束模型仅基于当前观测形成尽可能一致的判断。
不同于一些工作简单地将未来信息单向注入世界模型,Being-H0.7在这两种视角之间建立持续对齐与相互约束:后验分支提供未来演化的监督信号,先验分支严格受限于真实可观测信息。通过不断对齐,模型逐渐学会在“思考空间”中,自适应地根据当前情景,推理对后续行动真正有用的信息。
这种推理能力,本质上接近于人类的“物理直觉”。现实世界中,人类并不会逐帧预测未来画面,而是快速判断:物体接下来会朝哪个方向运动?接触关系会如何变化?施加的力会带来稳定还是失衡?交互过程会推进目标还是偏离?人类之所以能够在很少试错的情况下掌握这些能力,是因为这种“直觉”早已在长期进化中内化为本能。
相比之下,仅依赖实验室数据的机器人系统很难获得这种能力,更难实现泛化。基于这一洞察,智在无界构建了全球少有的20万小时人类视频数据集,并据此训练Being-H0.7,使模型获得类似“预训练基因”的能力,从而真正理解并改变物理世界。

在实现上,H0.7的结构反而相对简洁:两路视角通过注意力掩码共享主干上下文,只在潜空间查询处进行对齐,并共同接受动作监督。未来信息无需解码为未来图像,而以紧凑表征参与训练。相比Cosmos Policy这类视频生成式世界模型,H0.7的训练成本不到其1%。
另一个显著优势是推理速度的大幅提升:是Fast-WAM的11倍,是Imagine-then-Execute这类生成式世界模型的40倍以上。Being-H0.7是世界上首个能够在端侧设备上实时稳定部署的世界模型。强大的推理能力赋予了H0.7对外界动态的快速感知能力,使其能够完成如判断滑落小球轨迹、高速流水线包装、液体准确倾倒等之前VLA和传统世界模型都难以胜任的任务。

在评测方面,不同于多数模型仅在单一榜单进行评测,Being-H0.7 在六项全球权威评测榜单上综合排名世界第一,是目前覆盖范围最广的具身世界模型。该模型在跨本体、跨场景、连续动态、流体、柔性物体、物理规律与上下文推理等七大关键维度上,均展现出领先的物理理解与泛化能力,能够完成复杂的多物体协作、长时序规划与精细物理交互任务。

为直观展示 Being-H0.7「思考空间」中所蕴含的信息,可将观测图像与其先验分支的中间变量共同作为条件,基于视频模型对任务的未来状态进行可视化预测。尽管 Being-H0.7 在推理时并不显式进行像素级未来重建,但其隐空间表征中已蕴含了对未来世界状态的预测,这体现了其作为「隐式具身世界模型」的核心特征。

在真机实验中,Being-H0.7 凭借世界模型架构,展现出更精准的空间感知、物理理解与运动推理能力,具体实现了以下物理世界级的理解与交互能力:
- 动态轨迹预测:在高速动态场景下,Being-H0.7 能够借助物理世界知识与快速推理,预测物体运动轨迹并精准完成物理交互。

- 物理规律理解:通过大规模预训练构建的丰富世界知识,Being-H0.7 能够准确理解流体物理规律并执行复杂任务指令。

- 运动推理能力:Being-H0.7 具备物理世界下的动力学推理能力,可准确推断物体交互后的空间方位并规划相应动作。

基于以上能力,Being-H0.7 能够完成高速运动物体的追踪与接取、精细流体控制、柔性物体交互等高挑战性任务。
世界模型的再定义:从 AMI Labs 到 BeingBeyond
Our main goal is to build intelligent systems that understand the real world —— AMI Labs
面对这一愿景,作为开启「大规模人类视频驱动具身学习」路线的先行者,BeingBeyond 创始人卢宗青表示:
理解世界是基础,但必须学会改变世界。物理世界的理解与交互是不可分割的。如果一个模型只学习「世界会变成什么样」,而不学习「采取什么行动会导致这种变化」,它本质上仍是一个被动观察者,容易退化为「缸中之脑」。
因此,不同于 LeCun 提出的路径,智在无界采用的技术路线是:同时建模状态变化与动作生成。在数据层面,这一设计自然对应于第一人称人类视频,它不仅提供视觉观测,也包含了人类动作。此类数据可规模化获取,天然适用于具身学习。因此,大规模人类视频是通向具身基础模型的一条可行路径,能使机器人从人类行为中学习如何理解并作用于物理世界。
关注“鲸栖”小程序,掌握最新AI资讯
本文来自网络搜集,不代表鲸林向海立场,如有侵权,联系删除。转载请注明出处:http://www.itsolotime.com/archives/30068

