多模态大模型

随着多模态大模型（MLLMs）在视觉语言理解、图像描述、视觉问答等任务中展现出卓越能力，处理高分辨率图像已成为提升模型性能的关键瓶颈。传统方法在效率与精度之间面临两难选择：基于切片的编码虽能降低计算成本，却破坏了图像的空间连续性；而全局原生分辨率编码虽能保持完整语义，却带来难以承受的计算负担。清华大学与中科院研究团队最新发布的LLaVA-UHD v3，通过创…

在人工智能技术快速迭代的浪潮中，多模态大模型已成为连接视觉与语言智能的核心枢纽。然而，其后训练阶段长期面临两大关键挑战：缺乏可量化的样本难度评估体系，以及传统训练范式难以协同优化感知与推理能力。近期，由中南大学与中兴通讯AIM团队联合完成的研究，通过系统性实验设计，不仅为多模态后训练提供了创新的难度采样标准，更首次验证了仅依赖强化学习（GRPO）独立优化多模…

在视频理解领域，信息复杂度远超静态图像，传统Video-LLM常依赖下采样或Token聚合将视频信息压缩至语言模型，导致细节丢失与语义纠缠问题。为此，北京大学与加州大学圣地亚哥分校联合团队提出VideoOrion框架，通过将前景显著的时空动态编码为Object Tokens，并与Context Tokens并行输入大语言模型，构建出高效、可解释且具备指代能力…

在人工智能技术快速演进的当下，具身智能与自动驾驶作为两大前沿领域，长期面临着知识迁移与能力统一的挑战。传统视觉语言模型（VLMs）往往局限于单一场景——要么专注于室内机器人操作，要么聚焦于户外驾驶任务，这种割裂状态严重制约了智能体在动态物理世界中的综合交互能力。近日，小米汽车陈龙团队开源了全球首个打通自动驾驶与具身操作场景的跨具身（X-Embodied）基座…

在人工智能技术快速迭代的当下，一个名为“寒武纪-S”（Cambrian-S）的项目正悄然引发行业深度思考。该项目由谢赛宁牵头，并获得了李飞飞和Yann LeCun等顶尖学者的支持，其核心目标并非追逐传统的芯片硬件竞赛，而是直指AI发展的一个根本性挑战：如何让人工智能真正学会感知和理解三维空间世界。 寒武纪-S本质上是一个专注于**空间感知**的多模态视频大模…

近日，淘天集团算法技术-未来生活实验室团队提出的DeepPHY基准框架，作为首个系统性评估多模态大模型（VLM）交互式物理推理能力的综合基准，被AAAI 2026收录。该研究通过六个极具挑战性的物理模拟环境，揭示了即便是顶尖VLM，在将物理知识转化为精确、可预测的交互控制时，仍存在显著的核心短板。这一发现不仅对VLM在动态环境中的应用提出了严峻挑战，也为未来…

多模态大语言模型（MLLMs）作为人工智能领域的前沿技术，在整合视觉、文本等多种信息源方面展现出卓越能力。然而，当不同模态呈现相互冲突的信息时（例如图像显示蓝色汽车而文本描述为红色），模型如何做出最终决策成为一个关键科学问题。传统研究通常将模型选择与某一模态保持一致的行为称为“模态跟随”，并通过数据集层面的宏观统计数据来衡量。但这种方法存在根本性缺陷：它忽略…

在人工智能快速发展的浪潮中，多模态大模型（MLLM）已成为连接视觉与语言智能的关键桥梁。然而，长期以来，全开源MLLM的性能始终被闭源和半开源模型所压制，形成了明显的技术壁垒。清华大学与腾讯混元团队联合推出的Bee项目，正是对这一困境的深刻回应。该项目不仅是一个模型，更是一套全栈式、完全开放的解决方案，旨在通过数据质量革命，从根本上拉近开源社区与顶尖模型之间…

在人工智能技术快速演进的当下，多模态大模型正经历着从被动响应到主动执行的深刻转型。香港中文大学MMLab与vivo AI Lab联合团队的最新研究成果UI-Genie，为这一转型提供了极具启发性的技术路径。该研究由肖涵（第一作者，研究方向为多模态大模型和智能体学习）、王国志（研究方向为多模态大模型和Agent强化学习）共同完成，项目负责人任帅（研究方向为多模…

在人工智能的多模态浪潮中，视频理解因其同时承载时间动态与空间交互的复杂性，始终被视为最具挑战性的任务之一。传统模型虽能回答“发生了什么”，却难以精准指出事件“何时何地”发生，其推理过程往往如同黑箱，缺乏可解释的视觉证据支撑。近日，来自北京大学与字节跳动的联合研究团队，正式推出了首个将显式时空证据嵌入视频推理全过程的开源模型——Open-o3 Video。这一…