视觉语言模型
-
Attention机制暗藏偏置陷阱：上海大学团队提出去偏修正公式，提升多模态大模型剪枝效率
Attention机制暗藏偏置陷阱：上海大学团队提出去偏修正公式，提升多模态大模型剪枝效率 近年来，视觉-语言模型在多模态理解任务中取得了显著进展。为了降低推理成本，模型通常通过语言到视觉的注意力来衡量视觉标记与文本之间的相关性，并据此进行视觉标记剪枝。 然而，一个长期被忽视的问题是：注意力本身是否真的能够作为“语义重要性”的可靠指标？ 上海大学曾丹团队在最…
-
视觉压缩革命：DeepSeek-OCR与VTCBench如何重塑长文本理解的未来？
DeepSeek-OCR 提出的视觉文本压缩（Vision-Text Compression, VTC）技术，通过将文本编码为视觉 Token，实现了高达 10 倍的压缩率，显著降低了大模型处理长文本的计算与显存成本。然而，一个核心问题随之浮现：视觉语言模型（VLM）能否真正理解这种高度压缩后的高密度信息？ 为了系统性地评估模型在视觉压缩范式下的认知能力，来…
-
阿里VLCache革新视觉语言模型推理：仅计算2%视觉token实现16倍加速，精度近无损
关键词：VLCache、视觉语言模型（VLM）、KV缓存复用、动态重计算、推理加速、精度保留 你有没有遇到过这样的场景：用 AI 工具连续询问同一张图片的不同问题时，每次都要等待好几秒才能得到回复？明明图片没有变，模型却要重复处理整幅图像，造成大量冗余计算。 VLCACHE: Computing 2% Vision Tokens and Reusing 98…
-
FastDriveVLA：专为自动驾驶VLA模型定制的视觉token剪枝方法，实现高效端到端驾驶
VLA 模型正被越来越多地应用于端到端自动驾驶系统中。然而，VLA 模型中冗长的视觉 token 极大地增加了计算成本。现有的通用视觉 token 剪枝方法并非为自动驾驶场景设计，在实际应用中存在诸多局限性。 小鹏汽车联合北京大学计算机科学学院多媒体信息处理国家重点实验室发表论文《FastDriveVLA》，为自动驾驶 VLA 模型中的高效视觉 token …
-
突破GUI像素瓶颈！面向端侧Agent语义世界建模 MobileWorldBench！1.4M 数据样本驱动 7.4%性能跃升！
关键词： 语义世界建模 、移动智能体 、MobileWorldBench、MobileWorld、 视觉语言模型 、GUI 世界建模 在手机 APP 操作中，我们早已习惯了“点击-反馈”的即时互动——但对 AI 智能体来说，要预判“点击按钮后界面会怎么变”，曾是个棘手难题。 传统 AI 依赖像素级世界建模，试图精准预测未来界面的每一个像素点，却因 GUI（图…
-
VisPlay：突破视觉语言模型的数据困境，开启自进化强化学习新纪元
在Vision-Language Model（VLM）领域，提升复杂推理能力长期面临严峻挑战。传统方法主要依赖大规模人工标注数据或启发式奖励机制，这不仅带来高昂的经济成本和时间成本，更关键的是难以实现规模化扩展。随着模型参数量的指数级增长，人工标注的速度已远远跟不上模型演化的需求，形成了制约VLM发展的“数据困境”。 最新研究成果VisPlay首次提出了一种…
-
DAVSP：清华大学提出深度对齐视觉安全提示，重塑多模态大模型安全防线
随着多模态人工智能技术的快速发展，大型视觉语言模型（LVLMs）已在图像描述、视觉问答、跨模态检索等多个下游任务中展现出卓越性能。然而，这种强大的多模态理解能力背后，却潜藏着日益严峻的安全风险。最新研究表明，即便是当前最先进的LVLMs，在面对经过精心设计的恶意图像-文本组合输入时，仍可能产生违规甚至有害的响应。这一安全漏洞的暴露，不仅对模型的实际部署构成了…
