视觉语言模型

基础模型的能力爆发，源于海量文本的预训练。然而，文本只是人类对现实世界的一种抽象表达，是信息的有损压缩。 借用柏拉图的“洞穴寓言”：语言模型擅长描述墙壁上的影子，却从未见过投射影子的实体。它们精于捕捉符号，却难以理解物理世界中高保真的规律、结构与因果。 除了这一哲学局限，还存在一个现实瓶颈：高质量文本数据有限，且正逐渐枯竭。相比之下，视觉世界提供了近乎无限的…

阿里正式发布Qwen3.5系列，并推出了该系列的首个模型——Qwen3.5-397B-A17B的开放权重版本。作为原生视觉-语言模型，Qwen3.5-397B-A17B在推理、编程、智能体能力与多模态理解等全方位基准评测中表现优异。该模型采用创新的混合架构，将线性注意力（Gated Delta Networks）与稀疏混合专家（MoE）相结合，总参数量达39…

你负责写方法，AI负责画 Figure。科研打工人，终于等来「画图解放日」。 还在为论文里的方法框图熬夜画 PPT、拉箭头、对齐字体吗？ 一张 Figure 2，动辄几个小时，严重的甚至能耗上几天，科研人的「隐藏副本」不是实验，而是画图。 既要忠于论文原意，又得暗暗符合顶会那套心照不宣的「学术审美」：颜色不能土，布局不能乱，箭头更不能连错。 看起来只是一张图…

Attention机制暗藏偏置陷阱：上海大学团队提出去偏修正公式，提升多模态大模型剪枝效率 近年来，视觉-语言模型在多模态理解任务中取得了显著进展。为了降低推理成本，模型通常通过语言到视觉的注意力来衡量视觉标记与文本之间的相关性，并据此进行视觉标记剪枝。 然而，一个长期被忽视的问题是：注意力本身是否真的能够作为“语义重要性”的可靠指标？ 上海大学曾丹团队在最…

DeepSeek-OCR 提出的视觉文本压缩（Vision-Text Compression, VTC）技术，通过将文本编码为视觉 Token，实现了高达 10 倍的压缩率，显著降低了大模型处理长文本的计算与显存成本。然而，一个核心问题随之浮现：视觉语言模型（VLM）能否真正理解这种高度压缩后的高密度信息？ 为了系统性地评估模型在视觉压缩范式下的认知能力，来…

关键词：VLCache、视觉语言模型（VLM）、KV缓存复用、动态重计算、推理加速、精度保留 你有没有遇到过这样的场景：用 AI 工具连续询问同一张图片的不同问题时，每次都要等待好几秒才能得到回复？明明图片没有变，模型却要重复处理整幅图像，造成大量冗余计算。 VLCACHE: Computing 2% Vision Tokens and Reusing 98…

VLA 模型正被越来越多地应用于端到端自动驾驶系统中。然而，VLA 模型中冗长的视觉 token 极大地增加了计算成本。现有的通用视觉 token 剪枝方法并非为自动驾驶场景设计，在实际应用中存在诸多局限性。 小鹏汽车联合北京大学计算机科学学院多媒体信息处理国家重点实验室发表论文《FastDriveVLA》，为自动驾驶 VLA 模型中的高效视觉 token …

关键词： 语义世界建模 、移动智能体 、MobileWorldBench、MobileWorld、 视觉语言模型 、GUI 世界建模 在手机 APP 操作中，我们早已习惯了“点击-反馈”的即时互动——但对 AI 智能体来说，要预判“点击按钮后界面会怎么变”，曾是个棘手难题。 传统 AI 依赖像素级世界建模，试图精准预测未来界面的每一个像素点，却因 GUI（图…

在Vision-Language Model（VLM）领域，提升复杂推理能力长期面临严峻挑战。传统方法主要依赖大规模人工标注数据或启发式奖励机制，这不仅带来高昂的经济成本和时间成本，更关键的是难以实现规模化扩展。随着模型参数量的指数级增长，人工标注的速度已远远跟不上模型演化的需求，形成了制约VLM发展的“数据困境”。 最新研究成果VisPlay首次提出了一种…

随着多模态人工智能技术的快速发展，大型视觉语言模型（LVLMs）已在图像描述、视觉问答、跨模态检索等多个下游任务中展现出卓越性能。然而，这种强大的多模态理解能力背后，却潜藏着日益严峻的安全风险。最新研究表明，即便是当前最先进的LVLMs，在面对经过精心设计的恶意图像-文本组合输入时，仍可能产生违规甚至有害的响应。这一安全漏洞的暴露，不仅对模型的实际部署构成了…