QSVD：多模态大模型轻量化革命——联合低秩分解与量化技术突破

2025年11月15日下午5:01 • AI产业动态 • 阅读 76

在多模态人工智能的快速发展浪潮中，视觉语言模型（Vision-Language Models, VLM）已成为连接计算机视觉与自然语言处理的核心桥梁。从图像描述生成、视觉问答到智能教育系统和交互式应用，这些模型让机器具备了“看懂世界、说人话”的能力。然而，这种强大的能力伴随着巨大的计算代价——模型参数动辄达到数百亿级别，导致显存占用巨大、推理速度缓慢，严重制约了多模态大模型的实际部署与应用。

面对这一技术瓶颈，纽约大学SAI Lab的研究团队在NeurIPS 2025上提出了突破性的解决方案——QSVD（Efficient Low-rank Approximation for Unified Query-Key-Value Weight Compression in Low-Precision Vision-Language Models）。这项由硕士生王宇彤、博士生王海宇合作完成，张赛骞教授（纽约大学计算机科学系助理教授、SAI Lab负责人）担任通讯作者的研究工作，通过创新的“联合低秩分解+量化”策略，为多模态模型找到了一条“轻量化而不减智”的全新路径。

**技术挑战的深度剖析**

视觉语言模型的强大性能主要源于Transformer架构中的注意力机制，但这也带来了巨大的Key-Value缓存压力。以LLaVA-13B为例，在推理过程中，KV缓存的体积极其庞大，不仅消耗大量显存资源，还严重拖慢推理速度。现有的解决方案如Grouped-Query Attention、Multi-Query Attention以及DeepSeek的MLA等，虽然能在一定程度上降低计算开销，但往往以精度损失为代价，或者需要复杂的重新训练过程。

QSVD的核心目标十分明确：在不改变模型架构、无需重新训练的前提下，仅通过数学压缩方法实现模型的轻量化、加速和稳定化。这种“外科手术式”的优化策略，为实际部署提供了极大的便利性。

**创新技术架构解析**

QSVD的核心思想在于**联合QKV奇异值分解**。传统方法通常分别对Query、Key、Value矩阵进行奇异值分解，而QSVD首创性地将三者拼接成一个整体矩阵后进行SVD分解。这种联合分解策略只需一次降维计算，即可得到共享的下投影矩阵

以及分别的上投影矩阵

，在秩r < 0.75E的条件下，能够显著减少存储需求与计算复杂度。

在推理阶段的技术实现上，传统方法需要分别存储所有的K/V缓存，而QSVD仅需缓存

。每当生成新的token时，系统只需更新这一共享缓存，并通过各自的

投影恢复具体的K/V值。这种设计使显存占用直接减半，在长序列生成场景中节省效果尤为显著。

**自适应优化策略的智能化演进**

QSVD进一步提出了**跨层秩分配策略**，这一创新解决了传统压缩方法“一刀切”的局限性。研究团队通过梯度近似计算每个奇异值对模型损失的影响，获得重要性评分，并在全模型范围内进行排序与截断。

这种智能化的分配机制使模型能够自主决定“该减多少秩、留多少精度”，实现了全局最优的压缩配置。不同层根据其重要性获得差异化的压缩处理，既保证了关键信息的完整性，又最大限度地减少了冗余。

**量化技术的精细化突破**

仅靠低秩近似还不足以实现硬件效率的最大化。QSVD创新性地结合了**后训练量化**与**异常值平滑**技术。研究发现，VLM激活值中存在严重的通道异常值，直接量化会导致显著的信息丢失。为此，QSVD引入两个正交变换矩阵

与

，借鉴旋转量化的思想，使激活分布更加平滑，从而在4位或8位量化条件下仍能保持高精度。

此外，研究团队还加入了一个可学习参数

，用于在校准集上优化奇异值的缩放比例，使不同通道间的动态范围更加平衡，显著降低量化误差。

**实验验证与性能突破**

研究团队在LLaVA-v1.5（7B/13B）、LLaVA-Next和SmolVLM等多个模型上进行了系统性评估，实验结果令人振奋：在FP16精度下，QSVD相比ASVD与SVD-LLM精度提升超过10%；

在W8A8（8位量化）条件下几乎无精度损失，在W4A4极低比特条件下依然保持稳定工作；

推理速度最高提升达13倍。

这些结果充分证明，QSVD不仅实现了模型的有效压缩，还通过智能化优化使模型性能得到进一步提升。

**技术实现的三步战略**

整个QSVD框架可以通过三个关键步骤实现高效多模态推理：首先进行**Joint SVD over QKV**，将Q/K/V矩阵拼接后进行统一低秩分解；其次实施**Cross-layer Rank Allocation**，根据重要性分配秩值，实现全局最优压缩；最后进行**Quantization with Outlier Smoothing**，通过旋转量化和可学习奇异值分配抑制异常值影响。

通过这三步优化，即可打造出低显存占用、高精度保持、快速响应的多模态大模型，为实际应用部署扫清了技术障碍。

**未来展望与技术演进方向**

虽然当前QSVD的量化操作应用于整个模型，但其压缩核心集中在自注意力层的QKV权重上——这正是影响推理效率的关键环节。展望未来，研究团队计划将优化范围扩展至跨模块联合压缩与自适应优化，进一步提升多模态大模型的效率与实用性。这项技术不仅为视觉语言模型的部署提供了切实可行的解决方案，也为整个大模型领域的轻量化研究开辟了新的技术路径。

— 图片补充 —