关键词：大语言模型、KV 缓存、强化学习、缓存驱逐、长上下文推理
自 Transformer 架构诞生以来，大型语言模型（LLMs）在自然语言处理领域取得了革命性进展。从文本生成到逻辑推理，从多轮对话到长文档理解，LLMs 的能力边界不断拓展。然而，模型性能的飞跃背后，是日益严峻的推理效率挑战——当处理长序列或交互式会话时，KV（Key-Value）缓存成为制约系统部署的核心瓶颈。
KV 缓存的设计初衷是“空间换时间”的优化策略：在自回归生成过程中，模型需要不断参考历史 token 的信息。KV 缓存通过存储先前 token 的键（Key）和值（Value）向量，避免了重复计算注意力分数，将推理复杂度从 O(n²) 降至 O(n)。但这种优化的代价是内存占用的线性增长。 例如，对于长度为 4500 token 的序列，KV 缓存可能消耗数十 GB 显存，远超现代硬件加速器的承载能力。以 Llama-3-70B 模型处理 128K token 的长文本为例，仅 KV 缓存就需要约 42GB 内存。
为解决这一问题，研究人员提出了多种 KV 缓存管理方案，包括简单的最近最少使用（LRU）驱逐、基于注意力分数的复杂启发式方法，以及量化压缩和低秩近似等技术。然而，这些方法普遍存在一个根本性局限：它们依赖于间接的优先级代理指标（如近期性、历史注意力分数），而非直接优化 token 对未来解码步骤的实际效用。 正如 Apple 团队在相关论文中指出的：“一个 token 的真正价值取决于其对未来生成步骤的贡献，而现有方法从未直接优化这一核心目标。”
2026 年 2 月，Apple 团队在 arXiv 上发表的《Learning to Evict from Key-Value Cache》一文，提出了名为 KV Policy（KVP） 的创新性框架。该框架首次将 KV 缓存驱逐问题重构为强化学习（RL）排序任务，通过训练轻量级的 per-head 智能体，直接预测 token 的未来效用。
图例：不同 KV 驱逐策略在具体对话示例上的定性对比（基于第 12 层第 0 头的注意力分数）。该图直观展示了 KVP 策略识别的 token 重要性（着色）与真实的未来注意力模式高度契合，而其他基准方法则可能出现误判关键 token 或无法捕捉非局部重要信息的情况，从应用场景印证了 KVP 的有效性。
本文将深入剖析这一工作的核心创新、技术细节与实践价值，阐述如何利用学习型方法替代启发式规则，实现更高效的 KV 缓存管理。
本文目录
- 一、背景知识：KV 缓存驱逐的核心挑战与现有方案局限
- 1.1 KV 缓存的工作机制与驱逐问题本质
- 1.2 现有 KV 缓存管理方案分类与局限
- 二、KVP 的核心创新：从启发式规则到强化学习排序
- 2.1 创新一：问题重构——将驱逐转化为未来效用排序任务
- 2.2 创新二：架构设计——per-head 轻量级 RL 智能体
- 2.3 创新三：奖励设计——全局预算无关的离线 RL 奖励
- 2.4 创新四：训练与推理效率——离线训练+零推理开销
- 三、关键技术细节：从模型实现到工程优化
- 3.1 智能体架构细节
- 3.2 与监督学习的对比：为何 RL 是更优选择？
- 3.3 与现有方法的核心差异总结
- 四、实验验证：KVP 的性能优势与泛化能力
- 4.1 实验设置
- 4.2 核心实验结果分析
- 4.3 消融实验：核心设计的必要性验证
- 五、相关工作深度解析
- 六、总结与未来展望
- 6.1 工作总结
- 6.2 未来研究方向
- 6.3 实践启示
一、背景知识：KV 缓存驱逐的核心挑战与现有方案局限
在深入解读 KVP 之前，需要首先明确 KV 缓存驱逐的核心问题本质，以及现有方案为何难以满足长上下文推理的需求。
1.1 KV 缓存的工作机制与驱逐问题本质
在 Transformer 模型的自注意力机制中，每个 token 会生成查询（Q）、键（K）和值（V）三个向量。推理过程主要分为两个阶段：
* 预填充（Prefill）阶段：处理完整的输入提示，计算所有 token 的 K 和 V 向量并存储到 KV 缓存中，此阶段为计算密集型。
* 解码（Decode）阶段：逐一生成输出 token。新 token 的 Q 向量仅需与缓存中的历史 K/V 向量计算注意力，新生成的 K/V 向量则追加到缓存中，此阶段为内存带宽密集型。
KV 缓存驱逐的核心问题可以形式化为：给定 N 个 token 的集合 T 和内存预算 B，选择一个子集 S（|S| ≤ B），使得下游任务性能损失最小化。这一问题具有 NP-hard 复杂度，尤其当序列长度超过数千 token 时，如何精准识别并保留对后续生成最关键的 token 成为核心挑战。
图例：KV 缓存驱逐的未来 token 重要性示意图。有效的驱逐策略需能识别未来将获得极少或无注意力的 token。（中）展示了一个样本序列，其中每个 token 按其真实的累积未来注意力排序着色（越亮排名越高）。（右）展示了基于固定注意力槽与近期性启发式方法（如StreamingLLM）的估计，与真实排序存在显著偏差。（左）展示了本文提出的学习策略，仅利用过往的键、值和位置信息（无需查询、注意力分数或未来 token），便能精准还原复杂的非局部未来注意力结构。该图直观对比了 KVP 与传统方法的差异。
1.2 现有 KV 缓存管理方案分类与局限
二、KVP 的核心创新：从启发式规则到强化学习排序
现有 KV 缓存驱逐方案可归纳为四大类，其核心思路与局限性如下表所示，反映了在精准性、效率与泛化性之间的权衡困境：
| 方法类别 | 核心思路 | 核心局限 |
| :— | :— | :— |
| 基于注意力的驱逐方法 | 利用历史注意力分数或查询-键相似度筛选令牌（如 StreamingLLM 保留注意力沉没令牌，SnapKV/TOVA 动态剪枝）。 | 1. 向后看：依赖历史模式，难以适应动态生成过程。
2. 计算开销大：需重复统计注意力，与 FlashAttention 等优化不兼容。
3. 依赖当前查询：限制了在预填充阶段的优化空间。 |
| 内存层次管理方法 | 将 KV 条目卸载至 CPU 内存等二级存储（如 IceCache、ArkValve、MagicPig）。 | 1. 加载延迟高：CPU 与 GPU 间的数据搬移引入显著 I/O 开销。
2. 策略依赖启发式：卸载策略依赖人工规则，缺乏数据驱动的优化。 |
| 表示压缩方法 | 降低单条 KV 向量的存储成本（如 MiniKV 量化、Loki/Palu 低秩近似、MorphKV 状态合并）。 | 1. 性能损失：过度压缩会损害模型生成质量。
2. 未触及本质：仅解决“如何存”，未解决“保留哪些令牌”的核心选择问题。 |
| 学习型方法（早期探索） | 利用模型激活或序列摘要生成驱逐信号（如 Gisting Token、Activation Beacon）。 | 1. 粒度粗糙：多为序列级摘要，缺乏令牌级精细排序。
2. 缺乏针对性：非专为 KV 缓存动态驱逐设计，泛化性与实用性受限。 |
图 8 | 不同 KV 驱逐策略在定性示例上的对比（注意力分数取自第 12 层第 0 头）。该图通过自然语言对话示例，对比了 KVP 与基准策略的令牌重要性识别能力。直观可见，KVP 的令牌着色与真实的未来注意力高度契合，而其他方法或误判关键令牌，或无法捕捉非局部重要信息，从实际场景印证了 KVP 排序策略的有效性。
KVP 框架通过四大核心创新，重构了 KV 缓存驱逐的解决思路，旨在同时实现精准预测、高效推理与强泛化能力。
2.1 创新一：问题重构——将驱逐转化为未来效用排序任务
KVP 的首要创新是跳出“基于代理指标筛选令牌”的传统思路，将 KV 缓存驱逐问题直接定义为“预测令牌未来效用并排序”的学习任务。
为简化问题复杂度，论文引入两个关键假设：
1. 唯一性假设：对于每个缓存预算 ( b )，存在唯一的最优令牌子集 ( S_b^ )。
2. 嵌套性假设：最优子集满足 ( S_{b_1}^ subset S_{b_2}^* )（当 ( b_1 < b_2 ) 时），即小预算下的关键令牌在大预算下仍需保留。
基于此，作者证明了KV 缓存驱逐问题等价于令牌的全序排序问题（命题 1）：存在一个排序 ( sigma )，使得对于任意预算 ( b )，最优子集 ( S_b^ ) 恰好是排序中前 ( b ) 个令牌。这一证明至关重要，它在上述假设下，将 NP-hard 的最优子集选择问题，转化为一个等价的、可学习的排序任务，为后续的强化学习建模奠定了理论基础。*
命题 1 的形式化表述如下：
[
S_b^ = {sigma(1), sigma(2), …, sigma(b)}
]
其中 ( sigma ) 为令牌的全序排序函数。这一转化的核心价值在于：无需为每个预算单独设计驱逐策略，只需学习一个全局排序规则，即可适配所有内存约束场景。*
2.2 创新二：架构设计——Per-Head 轻量级 RL 智能体
为充分捕捉不同注意力头的专用特性，KVP 提出了 “Per-Head 智能体” 架构：为 LLM 的每个 KV 头训练一个独立的轻量级强化学习智能体，每个智能体专门学习对应头的令牌排序策略。
2.2.1 智能体输入表示
每个令牌的输入特征仅包含三部分信息，均直接来自 KV 缓存，无需额外计算：
* 键向量 ( k_i )：令牌的 Key 向量。
* 值向量 ( v_i )：令牌的 Value 向量。
* 位置编码 ( p_i )：令牌在序列中的原始位置。
输入特征表示为 ( x_i = [k_i; v_i; p_i] )，确保智能体决策完全基于缓存中已有的静态信息，不依赖未来令牌或查询向量，从而与高效推理框架兼容。
2.2.2 评分函数与排序机制
智能体的核心是一个轻量级多层感知机，参数总量仅约 600K。MLP 输出令牌的未来效用评分 ( s_theta(x_i) )，其中 ( theta ) 为智能体参数。
为实现高效的随机排序，KVP 采用 Plackett-Luce 模型建模排序分布。为解决序列采样低效问题，引入 Gumbel-Sort 技术，通过添加 Gumbel 噪声实现并行采样：
[
hat{s}i = stheta(x_i) + G_i, quad G_i sim text{Gumbel}(0, 1)
]
其中 ( G_i ) 为独立同分布的噪声。这一优化使排序采样可在单次前向传播中完成，适配现代硬件的并行计算能力。
2.2.3 Per-Head 设计的合理性
不同注意力头在 LLM 中承担着不同的语义功能（如关注语法、语义关联或指代关系）。单一启发式规则无法适配所有头的特性。例如，StreamingLLM 在部分头表现良好，在另一些头则性能较差，这种波动性凸显了 Per-Head 专用策略的必要性。
图 15 | 在 OASST2 测试集上，各策略在模型所有 28 层第 0 注意力头的成本 ( mathcal{L}_{text{total}} )。该可视化表明，不同非注意力感知的启发式驱逐方法的有效性随模型深度变化，而学习得到的 KVP 策略始终保持稳健效果（数值越低越好）。模型不同深度的注意力头功能不同（浅层侧重基础特征，深层侧重语义逻辑），启发式方法效果波动大。KVP 的学习策略能适配不同深度的注意力模式，在所有层中均保持低损失，证明其学习到了通用的令牌未来效用预测规律。
Per-Head 智能体能够学习每个头的专用排序策略，例如对语法头侧重保留结构相关令牌，对语义头侧重保留核心概念令牌。
2.3 创新三：奖励设计——全局预算无关的离线 RL 奖励
KVP 的第三个核心创新是设计了一种全局、预算无关的奖励函数，能够在不进行额外 LLM 推理的情况下，评估排序策略在所有可能预算下的性能。
2.3.1 奖励函数定义
奖励函数的核心思想是：排序策略的优劣取决于其在所有预算下保留高未来效用令牌的能力。具体分为三步：
1. 计算令牌的真实未来效用：对于训练数据中的每个令牌 ( i )，计算其在未来 ( T ) 个令牌生成过程中获得的累计注意力分数：
[
u_i = sum_{t=1}^{T} a_{i, t}
]
其中 ( a_{i, t} ) 为令牌 ( i ) 与未来令牌 ( t ) 的注意力分数（对于分组查询注意力模型，取组内最大值）。
2. 计算单预算奖励：对于给定排序 ( sigma ) 和预算 ( b )，保留前 ( b ) 个令牌，驱逐剩余令牌。单预算奖励定义为被驱逐令牌的总未来效用的负值（即最小化驱逐损失）：
[
R(sigma, b) = -sum_{i notin S_b(sigma)} u_i
]
3. 全局奖励聚合：总奖励为所有可能预算（( b = 1, 2, …, N )）下单预算奖励之和：
[
R(sigma) = sum_{b=1}^{N} R(sigma, b)
]
这意味着，一个排序若要获得高分，必须在任何缓存大小下都能将高未来效用的令牌保留下来，从而确保学习到的策略能够适应动态变化的内存约束。
最后，通过最优排序的奖励进行归一化，使奖励值不受注意力分数绝对值分布的影响，确保训练稳定性。
2.3.2 奖励函数的优势
该奖励函数设计实现了完全的离线训练，无需与环境（即运行完整的 LLM 生成）交互，极大提升了数据利用效率和训练速度。同时，其预算无关的特性保证了策略的广泛适用性。
2.4 创新四：训练与推理效率——离线训练与零推理开销
KVP 框架在设计上兼顾了性能与工程实用性，通过离线训练和轻量级架构，实现了训练高效、推理无额外开销的目标。
2.4.1 离线训练流程
KVP 的训练完全基于预计算的生成轨迹，无需在训练过程中实时运行大语言模型，具体流程如下：
- 数据准备：运行基础大语言模型处理训练语料，存储每条序列的查询、键、值张量（不存储注意力矩阵以节省空间）。
- 采样训练数据：从数据集中随机采样序列和缓存大小，生成训练样本。
- 生成排序候选：智能体为当前上下文生成 K 个不同的令牌排序候选。
- 计算奖励：基于预存的未来注意力信息，计算每个排序候选的全局奖励。
- 更新参数：使用 REINFORCE 算法结合 Leave-One-Out 基线更新智能体参数，以降低梯度方差。
算法 1 | 基于预计算 KV 轨迹的强化学习训练流程。该算法是 KVP 框架高效离线训练的核心，全程无需实时 LLM 推理，仅依托预存的 KV 轨迹完成训练，大幅降低了计算开销。采样环节的随机性保障了模型的泛化性，多排列采样与针对性奖励计算让参数更新更贴合令牌未来效用预测的目标。
这种离线训练模式的优势在于：训练过程与 LLM 推理完全分离，可利用闲置计算资源批量完成。实验表明，112 个智能体在 8 块 NVIDIA H100 GPU 上训练仅需约 30 分钟。
2.4.2 推理阶段的零额外开销
KVP 在推理阶段的操作完全兼容现有 LLM 推理流程，仅增加约 1% 的预填充阶段计算开销，解码阶段无任何额外负担：
- 预填充阶段：LLM 处理输入提示生成 KV 缓存后，KVP 的每个注意力头智能体并行计算所有令牌的排序分数，并生成全局排序。
- 缓存压缩：根据当前内存预算，保留排序中前 b 个令牌，通过自定义注意力掩码实现驱逐，无需修改 LLM 架构。
- 解码阶段：新生成令牌的 KV 向量被追加到缓存后，仅需重新计算该令牌的排序分数，无需进行全局重排。
根据作者的 FLOPs 估算，在 Qwen-7B 模型上，预填充阶段的开销从 14.00 GFLOPs/token 增加到 14.15 GFLOPs/token，仅增加约 1%，而解码阶段无任何额外开销。
图 6 | 逐出决策的壁钟延迟（对数 Y 轴）。该图量化验证了 KVP 的推理效率优势。其逐出决策的延迟远低于 LLM 预填充和解码时间，在 10k 上下文下单层压缩仅需 0.71ms，较全模型预填充快 570 倍。KVP 无需重计算注意力分数，各 KV 头可并行处理，实际部署中还能通过灵活调度进一步降低开销。
三、关键技术细节：从模型实现到工程优化
3.1 智能体架构细节
KVP 的智能体采用极简设计，确保轻量高效：
* 网络结构：2 层 MLP，隐藏层维度为 256。
* 激活函数：ReLU。
* 参数数量：每个智能体约 600K 参数，112 个智能体总参数约 67MB。
* 训练配置：使用 AdamW 优化器，学习率为 5×10⁻⁵，配合余弦调度器、100 步线性预热和梯度裁剪（最大范数为 5）。
3.2 与监督学习的对比：为何强化学习是更优选择？
作者通过消融实验验证了强化学习相对于监督学习的优势。监督学习基线采用可微分排序代理，使用均方误差损失来拟合真实排序。
图 5 | OASST2 测试集上特定注意力头（第 10 层第 0 头）的每预算成本。（a）奖励函数的有效性：KVP 通过学习预测未来注意力，虽不使用特权信息，但性能与依赖查询的注意力感知方法（虚线）相当。（b）强化学习与可微排序替代方法的对比：强化学习智能体成功实现低成本，而可微替代方法未能有效学习。
实验结果如图 5b 所示：监督学习模型的成本曲线高且不稳定，而强化学习模型能够稳定收敛到低损失。作者对此的解释是：KV 缓存驱逐任务具有固有的稀疏性——仅少数令牌对未来生成至关重要。监督学习所依赖的可微分排序代理在此任务上失效，其温度参数难以平衡：
* 低温度：导致梯度消失，无法有效学习。
* 高温度：梯度变得稠密但有偏，错误地分散了重要性分数。
而强化学习的策略梯度方法通过非可微分排序操作提供无偏学习信号，能够精准聚焦于关键排序决策，从而克服了稀疏性带来的优化难题。
3.3 与现有方法的核心差异总结
下表清晰展示了 KVP 与各类现有方法的核心差异，突出了其在优化目标、决策依据等方面的特点：
| 特性维度 | KVP | 基于注意力的启发式方法（TOVA/SnapKV） | 近期性方法（StreamingLLM） | 量化/低秩方法（Minikv/Loki） |
| :— | :— | :— | :— | :— |
| 优化目标 | 直接优化未来效用 | 优化历史注意力代理 | 优化近期性代理 | 优化存储效率 |
| 决策依据 | K/V 向量 + 位置 | 历史注意力分数 + 查询 | token 时序位置 | 向量压缩率 |
| 架构适配 | per-head 专用策略 | 全局统一策略 | 全局统一策略 | 全局统一压缩 |
| 训练方式 | 离线强化学习训练 | 无训练（手工设计） | 无训练（手工设计） | 无训练（固定压缩规则） |
| 推理开销 | 预填充阶段 +1% FLOPs | 额外注意力计算 | 无额外开销 | 压缩/解压缩开销 |
| 泛化能力 | 跨任务/跨长度泛化 | 任务依赖 | 长序列性能衰减 | 压缩率与性能权衡 |
四、实验验证：KVP 的性能优势与泛化能力
论文在多个基准数据集和模型上进行了全面验证，充分证明了 KVP 的有效性、优越性和泛化能力。
4.1 实验设置
4.2 核心实验结果分析
4.2.1 长上下文推理性能（RULER基准）
RULER基准用于评估模型在长上下文中保留和利用关键非局部信息的能力。实验结果如图2左所示。
- 性能领先：KVP在所有测试的KV缓存大小下均取得了最高的准确率。即使在缓存被极端压缩至500个令牌时，其准确率仍比最强的基线方法高出3-5个百分点。
- 策略有效性：注意力感知方法（如TOVA、SnapKV）的性能低于KVP，这表明基于未来效用预测的排序策略比依赖历史注意力分数更为有效。
- 基线局限：基于近期性的方法（如StreamingLLM）在缓存容量较小时性能急剧下降，原因是其可能丢弃了对话早期但对推理至关重要的线索。
4.2.2 多轮对话性能（OASST2-4k基准）
OASST2-4k基准通过困惑度（PPL）衡量模型在多轮对话中的下一个令牌预测能力，结果如图2右所示。
- 持续优势：KVP的困惑度始终低于所有注意力无关的基线方法。当缓存大小低于2000个令牌时，其性能优势进一步扩大。
- 鲁棒性：随着缓存容量减小，StreamingLLM等基线的困惑度急剧上升，而KVP的性能下降更为平缓，体现了其排序策略的鲁棒性。
- 策略优越性：KVP在部分缓存配置下甚至超越了需要查询感知的注意力感知方法，进一步证明了其学习到的排序策略的有效性。
4.2.3 零样本泛化能力
为验证KVP的泛化性，研究在多个未参与训练的下游任务上进行了零样本测试。
* 阅读理解与科学推理：在BoolQ（阅读理解）和ARC-Challenge（科学推理）任务中，KVP在不同缓存大小下均保持了接近无损模型的准确率，并显著优于Random、LagKV等启发式方法。
* 长文档摘要：在GovReport长文本摘要任务中，KVP的Rouge-L分数显著高于其他基线。即使在缓存缩减至100个令牌时，在对话数据上训练的KVP^S变体仍能保持较高的摘要质量，表明其能有效识别并保留生成摘要所需的核心信息。
更重要的是，KVP展现出明显的领域适配性：在对话数据（OASST2）上训练的KVP^S在BoolQ和GovReport上表现更优，而在合成推理数据（RULER）上训练的KVP^R则在MMLU（多领域知识）任务上性能最佳。这证明KVP能够学习到不同数据领域中令牌效用的特定模式。
4.2.4 跨模型泛化能力
研究在Phi-4 14B模型上验证了KVP的跨模型泛化能力，结果如图7所示。
- 性能稳定性：KVP在Phi-4模型上的RULER和OASST2基准测试中，依然在准确率和困惑度指标上保持领先，性能稳定。
- 基线波动性：启发式基线方法（如SnapKV、TOVA）的性能在不同模型间波动显著，例如SnapKV在Qwen2.5上表现良好，但在Phi-4上性能下降。
- 结论：这一对比表明，启发式方法的有效性高度依赖于特定模型的注意力模式，而KVP通过为每个注意力头配备专用智能体，能够自适应不同模型的内部机制，从而具备更强的模型无关泛化能力。
4.3 消融实验：核心设计必要性验证
通过消融实验验证了KVP框架中关键设计的必要性：
* Per-Head设计与全局智能体：使用单一全局智能体替代每个注意力头的专用智能体，会导致平均成本（-Rᵇ）上升23%，这源于其无法适配不同注意力头的特异性需求。
* 强化学习与监督学习：采用监督学习替代RL进行训练，会导致成本上升31%且训练过程不稳定，证明RL更适合处理稀疏、延迟的排序奖励信号。
* 全局奖励与单预算奖励：仅针对单一缓存预算进行优化的模型，在其他预算下的性能会下降15-20%，这凸显了在训练中引入多预算全局奖励的重要性。
六、总结与未来展望
6.1 工作总结
Apple 团队提出的 KV Policy（KVP）框架，通过四大核心创新，为 KV 缓存管理提供了新的范式：
- 问题重构：将 NP-hard 的子集选择问题转化为对 token 未来效用的排序任务，奠定了理论基础。
- 架构创新：设计了 per-head 的轻量级 RL 智能体，以适应不同注意力头的特性。
- 奖励设计：提出了全局且与预算无关的离线奖励函数，直接优化核心目标，无需额外的 LLM 推理开销。
- 效率优化：采用离线训练与推理零额外开销的设计，确保了工程实用性。
实验表明，KVP 在长上下文推理、多轮对话等任务上显著优于现有启发式方法，并展现出良好的跨任务与跨模型泛化能力。这项工作证明，学习型方法能够替代手工规则，实现更精准、自适应的 KV 缓存管理。
6.2 未来研究方向
作者指出了三个值得探索的未来方向：
- 动态预算分配：当前 KVP 对所有注意力头和层采用统一预算。未来可基于 per-head 的排序结果，动态分配内存资源，将更多预算分配给关键头。
- 多智能体协同：当前各智能体独立决策。未来可探索头间协同优化机制，以捕捉不同注意力头之间的依赖关系。
- 在线学习更新：当前模型为离线训练。未来可设计在线学习框架，根据实时生成数据自适应更新策略，以进一步提升泛化能力。
6.3 实践启示
KVP 的工作对 LLM 推理优化具有重要的实践启示：
- 从“代理优化”到“直接优化”：未来的系统优化应更多聚焦于核心目标（如未来效用），而非间接的代理指标。
- 轻量级学习集成：在系统层面集成轻量级学习模型，可以在不显著增加开销的情况下大幅提升性能。
- 模块化设计：KVP 的模块化架构使其可与量化、压缩、内存层次管理等技术无缝结合，形成协同优化效应。
随着 LLM 上下文窗口的持续扩展，KV 缓存管理的重要性日益凸显。KVP 框架为解决这一核心瓶颈提供了新思路，有望推动长上下文 LLM 在更多实际场景中的应用。
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：https://www.itsolotime.com/archives/23655