注意力稀疏性

随着大语言模型在检索增强生成（RAG）系统中的广泛应用，一个日益突出的性能问题浮出水面：上下文窗口的持续扩展导致首个token生成延迟呈二次方增长，严重制约了系统的实时响应能力。传统RAG流程虽然简单直接——将查询编码为向量，从向量数据库中检索相似文本块，然后完整输入给LLM处理——但这种方法存在显著效率缺陷。大多数检索到的文本块包含大量无关内容，迫使LLM…