过去数年间，机器人策略学习的一个主要演变趋势，是从传统的任务特定策略，迈向更为通用的视觉-语言-动作（VLA）模型。借助大规模视觉语言模型与机器人轨迹数据集，VLA 模型能够将视觉观测、语言指令与动作输出融为一体，在跨任务、跨场景的泛化能力上展现出显著潜力。
然而，机器人控制远非简单的“看图回答动作”所能概括。在真实的物理环境中，策略模型必须应对接触、遮挡、长时序依赖、误差累积以及多步规划等复杂挑战。一个仅依赖当前观测直接输出动作的模型，往往缺乏对未来状态变化的显式预判能力。
正是这一局限，促使世界模型重新成为机器人学习的核心方向：机器人不仅需要理解“现在是什么”，更要能够预测“如果执行某个动作，世界接下来会如何演化”。
近日，来自南洋理工大学 MARS Lab 的研究者，联合加州大学伯克利分校、斯坦福大学、哈佛大学、普林斯顿大学、ETH Zurich、牛津大学、东京大学、Microsoft 等机构，共同发布了一篇题为《World Model for Robot Learning: A Comprehensive Survey》的综述论文。该论文共 43 页，系统性地梳理了世界模型在机器人学习中的定义、架构范式、应用场景、评测基准及未来挑战，并配套有持续更新维护的 GitHub 资源库。
- 论文标题： World Model for Robot Learning: A Comprehensive Survey
- 论文链接： https://arxiv.org/abs/2605.00080
- 项目主页： https://ntumars.github.io/wm-robot-survey/
- GitHub： https://github.com/NTUMARS/Awesome-World-Model-for-Robotics-Policy
图 1：论文整体框架图
机器人世界模型：重点不在于生成，而在于可用于决策的预测
在机器学习与认知科学的语境中，“世界模型”并非一个全新的概念。它通常指代一个能够刻画环境状态如何随时间及动作而变化的预测模型。
但在机器人学习的具体场景下，作者强调必须对这一概念进行更为严格的界定。一个机器人世界模型不应仅仅是一个能生成未来画面的模型，而应当是一个能够描述“智能体-环境”动态演化的模型。换言之，它需要回答的核心问题是：在当前状态下，如果机器人执行某个特定动作，未来状态将如何改变。
这一关键区别，也清晰地划分了机器人世界模型与普通视频生成模型。后者可以生成视觉上看似合理的视频，但未必具备动作一致性。例如，模型或许能生成一段物体移动的自然视频，却无法准确反映机器人夹爪的动作、接触关系以及受力变化。对于机器人控制而言，这类预测的价值极为有限。
因此，论文将机器人世界模型的核心能力归纳为以下三类：
第一，前瞻（foresight），即在执行动作前预测其后果；
第二，想象驱动的规划（imagination-driven planning），即通过想象出的轨迹（rollout）来比较候选行为；
第三，数据增强（data amplification），即通过合成轨迹或演示数据来改善策略学习。
这也解释了为何世界模型与机器人学习的结合正在加速。VLA 策略提供了从视觉和语言到动作的接口，而世界模型则补充了对未来物理变化的预测结构。两者结合后，机器人策略便不再仅仅是一种反应式映射，而是有机会引入更强的预见性和规划能力。
世界模型如何接入机器人策略？
论文首先探讨了世界模型与机器人策略的结合方式。作者根据架构将现有方法划分为多种类型，从早期的解耦式方法，到单骨干网络、MoE/MoT 架构、统一 VLA，再到潜在空间（latent-space）世界建模。
图 2：时间线发展图
早期的路线通常采用“先预测未来，再恢复动作”的两阶段框架。模型首先利用视频生成或未来观测预测模块，生成与任务相关的未来状态；随后，一个逆动力学模型根据当前观测和预测出的未来状态，推断机器人应执行的动作。UniPi、VidMan、Vidar、Gen2Act 等工作均可归入此类。
这类方法的优势在于模块划分清晰。世界模型负责预测“将会发生什么”，而策略模块则负责将预测结果转化为具体动作。但其问题也同样明显：两个模块之间存在接口误差，如果生成的视频或潜在表征与真实的动作后果不一致，就会对后续的控制效果产生负面影响。
随后，研究开始转向更为紧密耦合的方案。一类方法采用单一的生成骨干网络，同时建模未来视觉状态和动作序列，将视频预测与动作生成整合进同一个扩散或流匹配过程中。UVA、UWA、VideoVLA、Cosmos Policy 等方法都体现了这一趋势。它们不再将世界模型视为一个外部模块，而是试图让预测和控制在同一模型内部共同发生。
另一类方法则采用 MoE/MoT 或多分支专家结构。视频专家、动作专家和语言理解模块各自保持一定程度的参数独立性，但通过共享注意力机制、交叉注意力或层间交互来实现信息融合。Motus、LingBot-VA、BagelVLA 等方法均属于这一方向。与完全共享骨干网络相比，这种设计保留了不同模态的专门能力，同时允许视频预测中的时序和物理先验知识影响动作生成。
图 3：IDM、Single-Backbone、MoT 三种方式的对比
统一 VLA 则代表了另一条路线。它们不一定显式地调用外部视频世界模型，而是通过未来图像预测、视觉前瞻、结构化世界知识或潜在动态建模，将预测目标内化到 VLA 的训练过程之中。GR-1、WorldVLA、DreamVLA、UniVLA、CoWVLA 等方法都在不同层面体现了这一趋势。
值得注意的是，论文并未简单地判断哪一条路线已经胜出。相反，作者指出，当前的机器人世界模型仍处于快速演化阶段。解耦模块、统一生成骨干、专家混合结构以及潜在表征各有优劣，最终效果取决于数据规模、控制频率、任务复杂度、推理成本，以及模型是否真正捕捉到了动作条件下的物理变化。
从策略模块到可交互模拟器
世界模型的第二类重要用途，是作为机器人学习中的模拟器。
传统的机器人强化学习面临一个长期瓶颈：真实交互成本高昂、采样效率低下、复位困难，并且存在硬件安全风险。如果能够利用学习到的世界模型替代真实环境来进行轨迹展开（rollout），那么策略便可以在虚拟交互中获得训练信号。
论文将这一方向称为“世界模型作为模拟器”（World Model as Simulator）。在此范式中，世界模型接收当前观测、任务指令和候选动作，并预测下一步的观测、奖励或终止信号。策略模型既可以在这一学习到的环境中进行强化学习后训练，也可以在测试阶段利用世界模型来评估多个候选动作。
图 4：世界模型作为 RL 模拟器和动作验证器
这一路线的关键价值，在于将世界模型从“辅助预测器”提升为“训练环境”。例如，部分方法尝试利用世界模型生成想象的转移（imagined transitions），用于 VLA 的强化学习后训练；也有方法利用预测的轨迹展开对候选动作进行排序，在执行前判断哪一组动作更有可能成功。
不过，作为模拟器的世界模型也面临着更高的要求。当用于开放式视频生成时，模型只需在视觉上保持合理即可；但当用于策略训练时，模型的任何错误都会直接影响策略的优化方向。一个略微偏差的动力学预测，可能在多步轨迹展开中被不断放大，最终导致策略学习到错误的行为。因此，长期稳定性、动作敏感性以及奖励一致性，是这一方向必须解决的核心难题。
视频生成模型能否成为机器人世界模型？
近年来，大规模视频生成模型的飞速演进，为机器人领域的世界模型构建奠定了全新的基础架构。视频模型天然具备学习时序动态变化、运动连续性及空间结构的能力，因此被视为可能赋予机器人控制任务宝贵先验知识的工具。
然而，论文强调，机器人领域的视频世界模型不能简单等同于通用视频生成。对于机器人学习而言，核心价值并非画面质量的提升，而在于动作的可控性与物理一致性。
一个真正实用的机器人视频世界模型，必须能够在给定语言指令、当前观测数据及动作序列的前提下，生成与动作后果高度一致的未来状态。它还需应对物体遮挡、接触变化、工具使用、场景几何结构以及长时序任务等复杂挑战。
论文将机器人视频世界模型的发展历程归纳为以下几个阶段：
从最初的“基于想象生成”（imagination-based generation），即生成未来视频作为策略学习的辅助手段；
到“动作可控世界模型”（action-controllable world model），显式建模动作对未来视觉状态的影响；
再到“结构感知世界模型”（structure-aware world model），引入深度、3D、对象、轨迹、场景结构等中间表示；
最终迈向“基础规模世界模型”（foundation-scale world model），具备更大数据规模、更强泛化能力与多任务适应性的基础世界模型。
图 5：机器人视频世界模型相关分类
评测标准正在发生转变
论文的另一重点在于评测。对于世界模型而言，单纯评估视频清晰度或生成质量已不足以衡量其价值。
在机器人场景中，评测应聚焦于模型是否能改善真实任务的表现。例如，它能否提升策略成功率？能否准确排序候选动作？能否预测失败轨迹？能否在长时序任务中保持因果一致性？能否帮助策略减少真实环境中的交互样本？
因此，作者认为，未来的基准测试应从“开环视觉保真度”（open-loop visual fidelity）转向“闭环任务效用”（closed-loop task utility）。换言之，世界模型的好坏不应仅由“生成得像不像”决定，而应由“是否帮助机器人做得更好”来评判。
图 6：机器人与世界模型数据集
论文整理了多个机器人学习基准测试与数据集，包括 LIBERO、RoboTwin、CALVIN、SIMPLER 等，并对不同世界模型策略在这些环境中的表现进行了归类比较。结果显示，当前最有效的方法并不集中于单一架构；在不同任务下，解耦式、统一式、专家混合式以及潜在空间（latent-space）方法都可能展现出竞争力。
未来挑战：动作一致性、效率与物理基础
尽管世界模型在机器人学习中展现出潜力，但论文指出，距离可靠部署仍面临多项关键挑战。
首先是动作条件下的因果一致性。模型不能仅根据历史观测“脑补”未来，而必须准确反映动作带来的状态变化。对于闭环控制而言，这是世界模型是否真正有用的基础。
其次是推理效率。许多视频扩散模型计算成本较高，难以满足机器人实时控制的需求。因此，越来越多方法开始探索潜在空间预测、训练时使用世界模型、测试时跳过显式视频生成等方案。
第三是物理基础。真实机器人交互依赖于摩擦、力、触觉、物体材质及接触稳定性，仅靠视觉预测往往不足。未来世界模型可能需要融合本体感觉、力觉、触觉以及结构化几何表示。
此外，论文也提到，神经世界模型并不必然取代传统规划与控制方法。相反，符号表示、对象关系、因果结构以及经典控制仍可能为长时序任务提供更稳定的抽象层。如何将神经预测能力与结构化规划结合起来，将是机器人世界模型的重要方向。
结语
这篇综述的价值在于，它并未简单地将世界模型视为视频生成模型在机器人领域的迁移，而是从机器人学习本身出发，重新梳理了世界模型应承担的功能：辅助策略生成、充当学习模拟器、支持评估与规划、生成训练数据，并最终服务于真实可执行的机器人行为。
对机器人学习而言，世界模型的核心问题不是“能不能想象未来”，而是“想象出的未来能否用于控制”。
当机器人能够在行动前预测后果、在执行中校正计划、在训练中利用虚拟交互改进策略时，世界模型才真正从生成模型走向具身智能系统的核心组件。
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：https://www.itsolotime.com/archives/34872
