多模态融合

本研究的共同第一作者是来自香港科技大学（广州）EnVision Research 的张鸿飞（研究助理）和陈康豪（博士研究生），两位研究者均师从陈颖聪教授。 你的生成模型真的「懂几何」吗？还是只是在假装对齐相机轨迹？ 当前众多视频生成模型虽宣称具备「相机运动控制」能力，但其控制信号通常仅依赖于相机位姿。虽近期工作通过逐像素射线方向（Ray Condition）…

本研究的共同第一作者是来自香港科技大学（广州）EnVision Research 的张鸿飞（研究助理）和陈康豪（博士研究生），两位研究者均师从陈颖聪教授。 你的生成模型真的「懂几何」吗？ 当前众多视频生成模型虽宣称具备「相机运动控制」能力，但其控制信号通常仅依赖于相机位姿。近期工作虽通过逐像素射线方向（Ray Condition）编码了运动信息，但由于模型仍…

构建多模态 RAG 系统的终极指南 三个月前，我们新开发的 AI 应用在诸多看似简单的问题上频频“翻车”。问题根源并非 AI 不够智能或数据不足，而是因为答案蕴含在一张图片里，而当时的系统仅能处理文本。 这一时刻迫使我直面一个在构建 RAG 系统时长期回避的核心问题：我们花费数年时间教 AI “阅读”文字，却忽略了人类同样通过图像、表格、公式和流程图来“表达…

在机器人技术快速发展的今天，多模态感知融合已成为提升机器人环境交互能力的关键路径。然而，传统方法在处理稀疏模态任务时暴露出的严重缺陷，正推动着研究范式的根本性转变。由伊利诺伊大学香槟分校、哈佛大学、哥伦比亚大学和麻省理工学院联合完成的这项研究，通过《Multi-Modal Manipulation via Policy Consensus》论文（链接：htt…

在人工智能迈向通用智能（AGI）的进程中，具身智能（Embodied AI）作为关键方向，要求智能体不仅能感知环境，更要能理解物理规律并执行精确动作。传统方法中，视觉语言动作模型（VLA）与世界模型（World Model）往往各自为战，前者擅长跨任务泛化但缺乏对动作的深度理解，后者能预测环境变化却无法直接生成动作。这种割裂严重制约了机器人在复杂场景中的自主…