Visionary:基于WebGPU与ONNX的下一代世界模型渲染平台,全面超越SparkJS

该工作由上海人工智能实验室钟志航团队联合四川大学、东京大学、上海交通大学、西北工业大学共同完成。

在李飞飞团队 WorldLabs 推出 Marble、引爆「世界模型(World Model)」热潮之后,一个现实问题逐渐浮出水面:世界模型的可视化与交互,依然严重受限于底层 Web 端渲染能力。

Marble 所依赖的基于 WebGL 的 3D Gaussian Splatting (3DGS) 渲染器 SparkJS,让世界模型首次在浏览器中「跑起来」,但也暴露出明显瓶颈:大场景以及复杂场景下,CPU 排序成为性能天花板,动态场景与生成模型难以接入。

近日,开源项目 Visionary 给出了一个截然不同的答案:基于 WebGPUONNX,在浏览器中实现真正的动态 3DGS / 4DGS 实时渲染,并在多项测试中全面超越 SparkJS。

Visionary:基于WebGPU与ONNX的下一代世界模型渲染平台,全面超越SparkJS
  • 论文标题:Visionary: The World Model Carrier Built on WebGPU-Powered Gaussian Splatting Platform
  • 技术报告:https://arxiv.org/abs/2512.08478
  • GitHub:https://github.com/Visionary-Laboratory/visionary
  • 在线 Editor:https://visionary-laboratory.github.io/visionary/index_visionary.html

World Model 的「最后一公里」,卡在 Web 端渲染

相比 Genie3 等视频生成范式的世界模型,其对算力的依赖极为庞大,距离在 Web 端实现高质量、实时运行仍有不小差距。反观神经渲染路线,尤其是 3D Gaussian Splatting,凭借其高效性,已经成为构建世界模型的重要表示形式。

3DGS 让高质量、实时的 3D 世界成为可能,但在实际落地中,仍存在明显断层:

  • 桌面端 / 引擎方案(SIBR、Unity、Unreal):性能强,但依赖沉重、部署复杂,难以传播与复现;
  • 现有 Web 端方案(SparkJS、SuperSplat):受限于 WebGL 管线,主要支持静态或预计算高斯,难以承载实时推理的动态 3DGS、Neural Avatar,更难引入生成式模型。

World Model 想要真正「被看见、被交互」,Web 端渲染底座成为关键瓶颈。

Visionary:不是 Viewer,而是 World Model 的 Web 渲染基座

Visionary 的定位并非「又一个 3DGS 查看器」,而是一个面向 World Model / 空间智能的 Web 原生渲染基座 (Rendering Substrate):

  • WebGPU 原生架构:将 GPU 计算与渲染真正带入浏览器,替代 WebGL;
  • ONNX 驱动的统一接口:将「每帧高斯生成 / 更新」抽象为标准化的模型契约;
  • 动态友好设计:3DGS、4DGS、Neural Avatar 以及生成式后处理均可在线运行。

Visionary 的核心设计在于提出了 Gaussian Generator Contract

Visionary:基于WebGPU与ONNX的下一代世界模型渲染平台,全面超越SparkJS

将各类 3DGS、4DGS 及 Avatar 方法统一导出为 ONNX 标准,每帧仅需输入相机、时间等轻量控制信号,即可由 ONNX 输出完整的高斯属性缓冲。

这种设计使得渲染器不再受限于具体的算法细节,首次在浏览器端实现了每帧动态生成与更新高斯、同一渲染器承载多种 3DGS 变体以及接入生成式后处理(如风格化、增强)的能力。

性能实测:全面超越 SparkJS

Visionary:基于WebGPU与ONNX的下一代世界模型渲染平台,全面超越SparkJS

实验数据显示,在相同 3DGS 资源条件下,Visionary 的渲染效率显著优于当前主流 Web 端查看器。

在包含数百万高斯点的典型场景中,Visionary 将排序与预处理完全迁移至 GPU (WebGPU),显著降低端到端延迟,而 SparkJS 的性能瓶颈主要集中在 CPU 排序阶段。

不止更快:渲染正确性与画质同样重要

Visionary:基于WebGPU与ONNX的下一代世界模型渲染平台,全面超越SparkJS

Visionary 采用逐帧 GPU 全局排序,彻底避免了类似 SparkJS 在快速视角变化下出现的 lazy sorting 视觉伪影。在 Mip-NeRF360 等基准上,画质指标与 SparkJS 持平甚至略有提升。

同时避免了 SuperSplat 等方案中的逐物体排序混合错误。在多模型混合场景下,仍能保证透明度渲染正确。

面向研究、创作与工业的统一平台

Visionary:基于WebGPU与ONNX的下一代世界模型渲染平台,全面超越SparkJS
  • 对研究者:任意 3DGS 变体只要能导出 ONNX,即可快速复现、对比与展示;
  • 对创作者:无需安装专业软件,即可在浏览器中完成编辑、录制与渲染;
  • 对工业界:可将其应用于数字孪生、仿真、XR、具身智能等大规模实时场景。

Visionary 已在 GitHub 完全开源,采用宽松协议,并已获得 Firefox / Chrome WebGPU 相关开发者的关注与反馈。

Visionary:基于WebGPU与ONNX的下一代世界模型渲染平台,全面超越SparkJS

目前已原生支持:MLP-based 3DGS (Scaffold-GS)、4D Gaussian Splatting、Neural Avatar (LHM、GauHuman、R³-Avatar 等)、ONNX 生成式后处理(风格化、增强),全部渲染流程均在浏览器端完成。

团队表示,Visionary 只是迈向统一世界模型框架的第一步。未来将进一步探索:

  • 物理交互增强(碰撞检测与 Mesh 管线融合)
  • 物理感知建模(结合 MPM 等方法模拟真实动力学)
  • 空间智能体(基于多模态大模型的空间推理与交互)
  • 下游应用桥接(支持具身 AI 的 Sim-to-Real 迁移)

结语

World Model 的竞争,最终会回到一个问题:谁能把复杂世界,稳定、快速、低门槛地呈现出来?

Visionary 给出的答案是:用 WebGPU + ONNX,把世界模型真正带到 Web。


关注“鲸栖”小程序,掌握最新AI资讯

本文来自网络搜集,不代表鲸林向海立场,如有侵权,联系删除。转载请注明出处:https://www.itsolotime.com/archives/14178

(0)
上一篇 2025年12月21日 下午12:19
下一篇 2025年12月21日 下午12:19

相关推荐

  • Anthropic测试移除Claude Code权益,AI编程代理高消耗或推动订阅规则重构

    今日,Anthropic 一度在其 Claude Pro 套餐页面中移除了 Claude Code 权益,引发了开发者社区的广泛关注与不满。数小时后,官网页面恢复原状,相关负责人解释称这仅为一次小范围测试。然而,此次事件传递出一个明确信号:高消耗的 AI 编程代理应用,正促使平台重新审视并可能重构其订阅规则,Claude Code 未来转向更高阶的 Max …

    2026年4月23日
    26900
  • AI Token狂飙:迪士尼员工1.7秒一次Claude,Meta全员烧掉90亿美元,硅谷掀起Tokenmaxxing狂潮

    AI Token狂飙:迪士尼员工1.7秒一次Claude,Meta全员烧掉90亿美元,硅谷掀起Tokenmaxxing狂潮 第一部分:从迪士尼到硅谷,Tokenmaxxing时代降临 Claude到底有多火?从律所精英到普通家庭,半个地球的人都在悄悄用它。全民用Claude打工,也是全民给Claude打工。 迪士尼最近做了一件“很不迪士尼”的事:在其内网上线…

    2026年5月4日
    26000
  • Anthropic封禁龙虾之父账号引争议:是技术bug还是流量炒作?

    Anthropic封禁“龙虾之父”账号引争议:技术故障还是流量操作? Anthropic近期状况频出,显得不同寻常。 从源代码泄露、词元计费漏洞到模型性能波动,各类问题接连不断,引发了持续讨论。 外界质疑其是否在利用技术故障制造热点、获取免费流量。最新的事件是,该公司封禁了被称为“龙虾之父”的Peter的账号。 此次封禁同时涉及订阅账户和API访问权限。 随…

    2026年4月11日
    31800
  • 突破硬件限制:ONNX Runtime GenAI实现LLM本地CPU推理新范式

    有时小模型就足够了,而且你并不总是需要 GPU。将一些“工具型”任务直接跑在 CPU 上有很多理由:有时你就是没有 GPU;或者你希望数据留在本地;又或者你只是想保持架构简单。 这就是 ONNX Runtime GenAI 的用武之地。它让你可以在想要的地方运行模型:有 GPU 就用 GPU,没有就跑 CPU,而且无需改一行代码。本文将展示它如何工作。所有示…

    2026年2月7日
    74700
  • 谷歌Nano Banana Pro深度评测:多模态文生图模型的突破与局限

    谷歌最新推出的Nano Banana Pro(又名Gemini 3 Pro Image)作为Gemini 3 Pro的衍生模型,在多模态文生图领域引发了广泛关注。该模型整合了Gemini 3 Pro的多模态理解能力与谷歌搜索知识库,在图像生成质量、语义理解和专业图表制作等方面展现出显著进步。本文将从技术架构、实际表现、应用场景及现存挑战四个维度,对这一模型进…

    2025年11月21日
    38100