KV Cache压缩

大语言模型（LLM）中的结构化稀疏性现象，尤其是模型深度与稀疏性增强的正相关性，以及“检索头”和“检索层”的涌现机制，长期以来缺乏统一的理论解释。这些现象不仅关乎模型效率，更触及LLM内部信息处理的核心逻辑。我们荣幸地宣布，论文《UNComp: Can Matrix Entropy Uncover Sparsity? — A Compressor…