多模态大模型

OmniSIFT：音视频Token压缩新突破，仅35%Token实现性能提升，推理时间减少42% 随着多模态大模型向“全模态”演进，Gemini-2.5-Pro、Qwen2.5-Omni等模型已能同时理解视频与音频信息。然而，这种综合感知能力的计算代价巨大。一段几十秒的音视频往往被编码为成千上万个Token，其中大量是冗余信息。注意力可视化实验揭示，在多模态…

无需图文配对，几何对齐解锁多模态大模型预训练新范式 在多模态大模型（MLLM）的研发中，一个长期共识是：没有图文对（Image-Text Pairs），就没有多模态能力。为了训练模型理解图像，业界通常需要耗费巨资收集海量图片，并为每张图片生成高质量的文本描述。这种强监督的配对数据，一直被视为多模态训练的基石。 然而，来自港科大（广州）、新加坡国立大学等机构的…

2月16日 【开源】阿里推出最新模型 Qwen3.5 Plus，支持文本、图像和视频多模态输入。 该模型在语言理解、逻辑推理、代码生成、智能体任务、图像理解、视频理解、图形用户界面（GUI）等多种任务中表现卓越，并支持内置工具调用。详情请参见：https://help.aliyun.com/zh/model-studio/text-generation 【开…

近日，美团推出全新多模态统一大模型方案 STAR（STacked AutoRegressive Scheme for Unified Multimodal Learning），凭借创新的“堆叠自回归架构 + 任务递进训练”双核心设计，实现了“理解能力不打折、生成能力达顶尖”的双重突破。 在 GenEval（文本-图像对齐）、DPG-Bench（复杂场景生成）…

一场押注AI未来的技术豪赌。 北京时间1月29日，北京智源人工智能研究院推出的多模态大模型“悟界·Emu”登上Nature正刊。这是继DeepSeek之后第二个达成此成就的中国大模型团队研究成果，也是中国首篇围绕多模态大模型路线的Nature论文。 Nature编辑在点评中指出：“Emu3仅基于‘预测下一个token’实现了大规模文本、图像和视频的统一学习，…

为什么“逐步思考”在视频推理中会失效？ 在数学推理任务中，让大模型“一步一步思考”通常能显著提升性能。然而，当同样的方法被应用于视频问答时，效果却常常不尽如人意，有时甚至不如让模型“直接回答”。 来自阿里巴巴未来生活实验室的研究团队指出，其根源在于任务性质的根本差异：数学推理是纯文本的逻辑推演，而视频推理要求模型在视觉信息与文本逻辑之间反复穿梭、交叉验证。简…

Attention机制暗藏偏置陷阱：上海大学团队提出去偏修正公式，提升多模态大模型剪枝效率 近年来，视觉-语言模型在多模态理解任务中取得了显著进展。为了降低推理成本，模型通常通过语言到视觉的注意力来衡量视觉标记与文本之间的相关性，并据此进行视觉标记剪枝。 然而，一个长期被忽视的问题是：注意力本身是否真的能够作为“语义重要性”的可靠指标？ 上海大学曾丹团队在最…

2.4万亿参数，原生全模态架构，在文本榜上“霸榜如喝水”。 在文心Moment大会上，文心大模型5.0正式版 上线。该模型参数量达2.4万亿，采用原生全模态统一建模技术，具备全模态理解与生成能力，支持文本、图像、音频、视频等多种信息的输入与输出。在40余项权威基准的综合评测中，文心5.0正式版的语言与多模态理解能力稳居国际第一梯队。其音频和视觉生成能力与垂直…

文本提示图像分割（Text-prompted image segmentation）是实现精细化视觉理解的关键技术，在人机交互、具身智能及机器人等前沿领域具有重要的战略意义。该技术使机器能够根据自然语言指令，在复杂的视觉场景中定位并分割出任意目标。 然而，当前主流的技术路径，如基于监督式微调（Supervised Fine-Tuning, SFT）的方法，正…

本文全面探讨具身智能（Embodied AI） 的基础与前沿进展，核心聚焦大语言模型/ 多模态大模型 与世界模型（WMs ） 对具身智能的赋能作用 ——LLMs/MLLMs 通过语义推理和任务分解强化具身认知 ，WMs 通过构建外部世界的内部表征和未来预测 支撑物理合规交互，二者融合形成的MLLM-WM 联合架构 成为突破复杂物理世界任务的关键方向。 具身智…