Agentic LLM 时代，异构内存架构如何让NPU能效飙升2.3倍？

核心洞察：为下一代推理加速器寻找最优内存架构

这篇论文最值得提炼的核心观点是：为下一代推理加速器确定合适的内存架构，需要在庞大且快速演进的设计空间中进行导航，而工作负载特征、NPU设计维度以及内存系统设计之间的相互作用【依然】未被充分探索。

过去讨论AI芯片时，大家往往首先关注TOPS、TFLOPS、矩阵阵列规模以及先进封装带来的带宽数字。然而，进入agentic LLM时代，这种视角已显不足。

一个能够调用工具、浏览网页、操作软件、编写代码并进行长链推理的智能体，不再像传统聊天机器人那样拥有相对稳定的输入输出长度。它的上下文会在工具调用过程中迅速膨胀，KV cache可能达到数百GB级别，prefill和decode阶段也呈现出截然不同的访存压力。

• MemExplorer: Navigating the Heterogeneous Memory Design Space for Agentic Inference NPUs
• https://arxiv.org/pdf/2604.16007
• 1.4万字，阅读约50分钟，播客版约22分钟

MemExplorer这篇论文提出的核心判断是：未来LLM推理系统并非单一GPU或单一NPU的局部优化问题，而是异构设备、异构内存与软件执行策略共同构成的系统级设计问题。

Prefill阶段更需要高带宽与高吞吐，而decode阶段则更依赖容量、KV cache承载能力及优异的功耗效率。将这两类阶段强行塞入同一种HBM架构中，必然会造成其中一方的资源浪费。

图4：MemExplorer框架概述。 扩展后的PLENA仿真器用于验证系统模型的准确性。该图完整展示了MemExplorer的核心架构，由系统模型、数据移动模型、工作负载特化与系统协同探索四大核心模块构成，形成“建模-仿真-探索-验证”的闭环设计流程。系统模型整合内存与计算解析模型，可快速预估性能与功耗；数据移动模型定义数据流、数据放置与带宽分配策略；工作负载特化模块区分预填充/解码场景建模；协同探索采用多目标贝叶斯优化遍历庞大设计空间。框架关键创新是用扩展PLENA周期级仿真器交叉验证解析模型精度，兼顾探索效率与结果可靠性，为异构NPU内存架构的快速设计空间探索提供了系统化解决方案，解决了传统仿真效率低、解析模型不准的核心矛盾。

论文的实验结论直截了当：在相同功耗预算下：

• MemExplorer面向agentic workload时，相比baseline NPU最高实现2.3倍能效提升；
• 在prefill-only场景下，相比H100最高达到3.23倍能效；
• 在decode场景下，在等性能目标下相比baseline NPU和H100分别最高实现1.93倍和2.72倍功耗效率提升。

这些数字背后的本质并非某种神奇内存技术胜出，而是系统能自动判断何时需要3D-stacked SRAM，何时需要HBF，以及何时LPDDR比更高带宽的内存更划算。

MemExplorer的价值不在于宣称某种内存一定最好，而在于将内存技术、NPU计算阵列、量化精度、数据流和负载阶段纳入同一个可搜索空间，让系统自行找到prefill和decode各自的最优折中方案。

本文目录

• 一、问题背景：Agentic LLM正在改变推理系统的内存假设
• 二、MemExplorer的核心思想：把内存系统变成可综合、可搜索的设计对象
  • 2.1 MemExplorer面向异构NPU的三层设计目标
  • 2.2 异构内存设计空间
  • 2.3 可连接内存的stack数量上界
• 三、内存层级模型：不只算容量，还要算数据如何逐层流动
  • 3.1 有效带宽公式
  • 3.2 单层传输延迟
  • 3.3 内存功耗模型
• 四、两类新兴内存：3D-stacked SRAM与HBF分别解决什么问题
  • 4.1 3D-stacked SRAM
  • 4.2 HBF
• 五、软件策略：数据流、片上存储优先级和片外带宽分配
  • 5.1 软件策略
• 六、搜索方法：用多目标贝叶斯优化逼近Pareto前沿
• 七、实验结果：Prefill要高带宽片上内存，Decode要大容量低功耗层级
• 八、扩展到新模型：Diffusion LLM与大规模MoE
• 九、相关工作：本文相对已有研究的差异
  • 9.1 第一类是内存技术本身
  • 9.2 第二类是内存模拟和软硬件协同
  • 9.3 第三类是prefill-decode disaggregation
• 十、结论与展望
  • 10.1 结论总结
  • 10.2 进阶分析
  • 10.3 未来工作

一、问题背景：Agentic LLM正在改变推理系统的内存假设

传统LLM服务更多面对的是聊天式负载，输入输出长度相对可预测；agentic LLM则不同，它需要与外部环境交互，工具调用和长链推理会带来快速增长的上下文与高度动态的访存模式。

论文从agentic workload切入，这是一个非常关键的选择。因为只有在这类负载下，内存系统问题才会从“带宽够不够”升级为“容量、带宽、层级、功耗、阶段差异如何协同”。作者列举了几类典型场景：computer-use agents、autonomous coding agents、web-use agents。这些任务有一个共同点：模型并非简单地回答一句话，而是在外部系统中反复观察、推理、调用工具并生成行动。

这会导致两个后果。

• 第一，token规模急剧增加。论文图1a展示了chatbot、WUA、CUA之间的token处理差异，agentic workloads在prefill阶段尤其显著地增加了token处理需求。

图1a：智能体工作负载在预填充阶段的token处理需求显著更大。 智能体工作负载与传统对话式LLM推理差异显著，其预填充阶段需处理超长输入序列，token处理量远超常规场景。

第二，KV cache 和 activation 的容量压力显著加剧

论文指出，具备智能体（Agentic）能力的LLM已将上下文窗口扩展至百万级。在此背景下，仅KV cache一项的数据量就常常突破500GB。这意味着，在众多长上下文的智能体应用场景中，单卡80GB HBM的内存容量已不再充裕，甚至显得捉襟见肘。

更棘手的问题在于，预填充（prefill）和解码（decode）阶段的计算模式截然不同。

• 预填充阶段处理的是长输入序列，其特点是计算密度高，对activation和weight的吞吐能力构成了明显压力。
• 解码阶段则是逐token生成输出，其瓶颈更多地体现在KV cache的访问效率以及受容量限制的batch size上。

用硬件设计的语言来概括：预填充更像是一个受带宽制约的吞吐型矩阵计算问题，而解码则更像是一个受容量限制的访存与数据复用问题。

图1c清晰地展示了：智能体工作负载导致激活值与KV缓存的内存容量需求急剧膨胀，同时带宽利用率也适度上升，且预填充与解码阶段展现出截然不同的特征。智能体任务的长上下文特性，使得激活值与KV缓存占用的空间暴涨，对内存容量提出了极为严苛的要求。此外，预填充阶段以批处理方式处理数据，带宽利用率高且波动剧烈；而解码阶段逐token生成，带宽需求较低但持续稳定，两个阶段的带宽特征差异显著。这揭示了单一内存架构无法同时适配两阶段需求的核心矛盾，也论证了预填充侧重带宽、解码侧重容量的异构设计思路的合理性，为MemExplorer分阶段优化内存架构提供了关键的数据支撑。

这也解释了为何业界开始转向异构系统。论文中提及的NVIDIA Vera Rubin平台，正是将不同设备组合到一个互联系统中的典型代表：

• Rubin GPU 采用HBM4内存，为每个节点提供288GB的容量和高达22TB/s的带宽；
• Groq 3 LPX 则使用了聚合片上SRAM的数据流处理器，提供了128GB的片上SRAM和40PB/s的聚合带宽。

这两种设备并非同一种内存架构，却能服务于同一个LLM服务（serving）任务。AWS与Cerebras的合作也印证了类似的趋势：未来的LLM服务不太可能仅依赖单一的统一设备，而将走向多种设备、多种内存体系共存的模式。

图2展示了专为纯预填充和纯解码工作负载优化的NPU设计。黑色边缘代表了计算单元与内存之间所有可能的数据移动路径，图中列出的参数定义了NPU系统的设计空间，直观地展示了预填充与解码场景下NPU内存架构的差异化设计逻辑，核心差异体现在片上存储、片外内存的组合方式以及关键参数的配置上。预填充加速器搭载高密度HBM和大容量3D堆叠SRAM，侧重高带宽以支撑批量数据处理；解码加速器则舍弃高带宽HBM，转而采用大尺寸片上SRAM与HBF的组合，优先保障大容量以容纳KV缓存。同时，PE阵列维度、向量长度、内存堆叠数量等参数共同构成了完整的设计空间，MemExplorer正是围绕这些参数开展协同优化。这种分场景的硬件设计思路，契合了论文提出的预填充-解码异构解耦理念，是提升智能体推理能效的核心设计方向。

Agentic LLM的出现，让内存系统从“加速器的附属模块”转变为“系统设计的主变量”：容量决定了能否运行大上下文，带宽决定了预填充阶段能否喂饱计算单元，而功耗则决定了解码阶段能否以合理的成本进行扩展。

二、MemExplorer 的核心思想：将内存系统转化为可综合、可搜索的设计对象

MemExplorer并非一个简单的模拟器，而是一个内存系统综合器（memory system synthesizer）。它的任务并非评估某个固定的NPU，而是自动决策异构NPU系统中的内存层级、内存技术以及NPU的设计参数。

2.1 MemExplorer 面向异构 NPU 的三层设计目标

论文提出的MemExplorer，旨在面向异构NPU系统进行端到端的架构探索。

图4：MemExplorer框架概述。扩展后的PLENA仿真器用于验证系统模型的准确性。

其设计目标可以分解为三个层面：

• 第一，统一抽象多种内存技术；
• 第二，构建异构、解耦式服务（serving）的探索空间；
• 第三，将算法感知的软件策略与硬件设计进行联合搜索。

2.2 异构内存设计空间

这项工作的难点在于，不同内存技术的物理约束差异巨大。

图1b：异构内存设计空间。轮廓块清晰划分了不同技术在容量、带宽和访问延迟参数上的区域。图中覆盖了SRAM、HBM、LPDDR、GDDR及HBF等主流与新兴内存技术，清晰呈现了不同技术在容量、带宽、延迟三个维度上的权衡关系。SRAM聚焦于超高带宽和低容量，HBM平衡了带宽与容量，HBF则主打超大容量和中等带宽，各技术形成了互补的生态。这一分布说明，没有单一的内存技术能同时满足智能体推理对高带宽、大容量和低功耗的需求，这也奠定了MemExplorer探索异构分层内存架构的技术基础，为多技术组合优化提供了空间依据。

• 片上SRAM延迟极低、带宽极高，但其容量和泄漏功耗受限于芯片面积；
• HBM带宽高，但容量受限于堆叠技术和封装边界；
• LPDDR功耗表现良好，但带宽相对有限；
• GDDR更偏向于成本和带宽的折中方案；
• HBF的容量非常大，但延迟高，且读写能耗和背景功耗也更高。

如果仅用“容量”和“带宽”两个数字进行比较，就会忽略die shoreline、PHY占用、背景功耗、读写能耗、封装和热约束等关键因素。

MemExplorer的统一建模方式，是将每类内存技术抽象为一组紧凑的参数，这些参数包括延迟、容量、带宽、shoreline占用、背景功耗、读能耗、写能耗等。

论文中的表1给出了SRAM、HBM3E、HBM4、LPDDR5X、LPDDR6、GDDR6、GDDR7、3D-stacked SRAM和HBF等设备的参数。这个表格并非简单罗列规格，而是为后续的搜索过程提供了统一的坐标系。

表1：不同内存设备的技术参数。带∗标记的值为实验数据，带†标记的值为根据缩放因子计算得出的值。该表系统梳理了片上SRAM、主流片外内存（HBM3E/4、LPDDR5X/6、GDDR6/7）及新兴内存（3D堆叠SRAM、HBF）的核心参数，涵盖延迟、容量、带宽、功耗、读写能耗等关键指标。数据清晰呈现了各技术的权衡：SRAM/3D堆叠SRAM延迟仅数纳秒、带宽极高，适合片上高频访问；HBM平衡了带宽与容量，适配中高端推理；LPDDR低功耗、GDDR低成本，适配特定场景；HBF容量高达384GB，填补了HBM与SSD之间的容量空白，但延迟达到微秒级。该参数表是MemExplorer构建统一内存模型、开展异构设计探索的基础，为多技术组合优化提供了精准的数据支撑。

2.3 可连接内存的堆栈数量上界

论文中对片外内存堆栈（off-chip memory stack）数量的讨论尤为重要。HBM、LPDDR、GDDR、HBF等片外内存都需要消耗die shoreline，即计算芯片边缘可用于高速PHY接口的物理长度。当前的光刻掩模版限制（reticle limit）为芯片尺寸设定了上限，因此，即使功耗不受限制，能够挂载的片外内存堆栈数量也不是任意的。

论文使用以下公式来描述可连接内存堆栈数量的上界：

其中， 表示可连接的片外内存堆栈数量， 表示为内存接口预留的芯片边缘长度， 表示单个内存堆栈对应的PHY接口占用长度， 表示接口之间需要保留的物理间隔。这个公式背后的直觉很简单：芯片边缘就像一条长度有限的“码头”，HBM、LPDDR、HBF这些“船”再好，也必须有“泊位”才能连接上。

MemExplorer的第一层贡献，在于将多种内存技术从“规格表比较”提升为“带有物理约束、功耗模型和层级行为的统一设计变量”。

三、内存层级模型：不仅计算容量，更要计算数据如何逐层流动

对于LLM推理而言，数据访问通常是连续的大块搬运，尤其是权重、activation和KV cache。因此，论文将每次读写建模为一次大粒度事务，并记录计算单元所消耗的带宽。

MemExplorer 的内存层级模型

MemExplorer所构建的内存层级模型，其核心聚焦于一个关键问题：当数据被分散存储于多个层级的内存中时，如何准确评估从最远端内存到计算单元的传输延迟与带宽瓶颈。在该模型中，level 0 被定义为计算单元本身，而 level 则代表最远端的内存层级。数据需要从深层向浅层逐级移动，在每一级边界上，都涉及有效带宽、固定传输延迟、数据总量以及在该层级的驻留比例这几个关键参数。

3.1 有效带宽的计算公式

论文中给出了有效带宽的计算公式：

其中， 代表从 level 传输到 level 的有效带宽， 是该层级边界的理论峰值带宽，而 则表示更深层向当前层传输数据时已经占用的带宽。

此公式旨在描述双缓冲场景下的带宽竞争关系：当前层级既需要从更深层接收数据，也可能同时向更浅层继续输送数据。因此，实际可用的带宽并非峰值，而是扣除下游传输占用后的剩余带宽。

3.2 单层传输延迟的模型

单层传输延迟的计算公式如下：

在此公式中， 代表在第 层加载数据所产生的延迟， 是需传输的总数据量， 表示当前层级所存储的数据比例， 则是跨越该层级边界时固有的固定延迟。通俗来讲，如果一部分数据已经位于近端内存中，那么只需利用当前层的带宽搬运这部分数据；剩余部分则需递归地从更深层的内存中搬运上来。

该模型的意义在于，它并非简单地比较“HBM 有 2TB/s，HBF 有 1TB/s”这类峰值指标，而是能够精确估算当权重、KV cache 和 activation 被分散存储在不同层级时，哪些传输操作能被双缓冲技术隐藏，哪些则会暴露为处理器的停顿（stall）时间。

对于 NPU 而言，真正影响其吞吐量的并非内存的峰值带宽，而是计算操作与数据搬运操作能否实现有效重叠。

3.3 内存功耗模型

论文同时提出了内存功耗模型：

该模型中， 代表总内存容量， 表示读取带宽， 表示写入带宽， 是单位容量的背景功耗，而 和 则分别代表每比特数据的读写能耗。此公式揭示了 HBF 这类大容量内存的隐性代价： 即便带宽足够，更大的容量也会导致持续的背景功耗；如果读写能耗较高，频繁的访问将进一步推高整体功耗。

MemExplorer 的内存模型精准抓住了 LLM 推理中最关键的系统事实：最终性能并非由单层内存的峰值带宽决定，而是由多层内存之间的数据驻留比例、双缓冲的重叠能力以及读写功耗共同作用的结果。

四、两类新兴内存：3D-stacked SRAM 与 HBF 分别解决什么问题

论文将 3D-stacked SRAM 和 High Bandwidth Flash (HBF) 作为两种极具代表性的新兴内存技术。它们分别位于设计空间的两个极端：一个追求极致的高片上带宽与低延迟，另一个则追求超大容量。

4.1 3D-stacked SRAM

这项技术旨在解决片上容量不足的难题。传统的 2D SRAM 受限于芯片面积和泄漏功耗，在 7nm 及以下工艺节点的发展速度已明显放缓。3D-stacked SRAM 通过垂直堆叠多层 SRAM die，在不扩大计算 die 平面面积的前提下，有效提升了片上存储容量。

表 1：不同内存设备的技术参数。带∗标记的值为实验数据，带†标记的值为根据缩放因子计算得出的值。

根据论文表 1 的数据，单层 3D-stacked SRAM 可提供约 1GB 容量和 8TB/s 的带宽，同时保持极低的访问延迟和每比特能耗。

它尤其适合 prefill 阶段。因为在 prefill 过程中，activation 的工作集较大且复用频繁，如果能将更多的 activation 保留在片上，就能有效减轻对 HBM 的访问压力。

4.2 HBF

HBF 则致力于解决内存容量的断层问题。HBM 的容量通常停留在几十 GB 级别，而 SSD 虽然容量巨大，但其延迟和接口形态并不适合作为推理内存。HBF 通过将 NAND Flash、DRAM buffer 和高带宽 PHY 进行垂直集成，单个堆栈即可提供约 384GB 的容量和 1TB/s 的带宽，其容量密度远超 DRAM 类方案。

然而，HBF 的代价也十分显著：其背景功耗约为 HBM3E 的 4 倍，读写能耗约为 2 倍，访问延迟达到微秒级，比 SRAM 足足慢了三个数量级。

因此，HBF 并不适合作为主要带宽来源，它更适合扮演最外层容量层级的角色，用于处理长上下文场景下的权重存储和 KV cache 溢出问题。

这里有一个值得注意的判断：HBF 并非简单的“更好的 HBM”或“更快的 SSD”。在 MemExplorer 的框架中，它的角色是容量补足层。当 decode 阶段需要更大的 batch 来提升阵列利用率时，HBF 可以用容量换取吞吐量；但如果负载是高频随机访问或带宽主导型，HBF 的能耗和延迟就会成为负担。

3D-stacked SRAM 和 HBF 代表了两条截然不同的技术路线：前者致力于将热点数据拉近计算单元，后者则旨在将冷数据或半热的大容量状态保留在系统内存层级中。MemExplorer 的价值在于能够判断这两种技术何时应该出现、需要多少容量、以及应该放置在内存层级的哪一层。

五、软件策略：数据流、片上存储优先级和片外带宽分配

MemExplorer 不仅搜索硬件配置，还将软件执行策略纳入了同一个设计空间进行考量。其关键在于决定数据最终驻留在何处、从何处流动而来，以及带宽优先分配给谁。

5.1 软件策略

论文将软件策略划分为三类：数据流策略（Dataflow Strategy）、片上存储优先级（On-Chip Storage Priority）和片外带宽优先级（Off-Chip Bandwidth Priority）。

图 3：异构内存层级中软件控制的数据流策略、带宽分配与存储调度示例，该图清晰呈现MemExplorer软件层协同优化内存访问的核心策略，涵盖片外带宽优先级、片上存储优先级及数据流策略三大维度。左侧为片外带宽优先模式，聚焦矩阵计算带宽分配；右侧为片上存储优先模式，优先将激活值、权重或KV缓存驻留片上。权重、激活值、KV缓存三类数据在不同层级内存间的流动路径，体现了软件调度对数据复用率的调控作用。论文通过消融实验验证，权重驻留数据流+激活值优先片上存储的组合，能最大化数据复用、减少片外访问，这一策略可降低内存功耗、提升计算效率，是MemExplorer算法感知协同设计的关键组成部分。

• 数据流策略 包括 weight stationary、input stationary 和 output stationary。所谓 stationary，是指将某一类数据尽可能保留在片上，而让其他数据从内存中流过来。 对 NPU 阵列而言，选择哪类数据作为 stationary 对象，会改变权重、activation 和输出在内存层级中的复用模式。
• 片上存储优先级 是对编译器级存储调度的一种抽象：当片上空间有限时，是优先存储权重、activation、KV cache，还是进行平均分配。这个抽象看似简单，但它将复杂的编译优化问题转化为了可搜索的参数。 对于 prefill 阶段，论文实验表明，将 activation 优先存储在片上（activation-prioritized on-chip storage）并结合 weight-stationary 数据流策略，能取得良好效果，因为它能最大化数据复用并降低片外流量。
• 片外带宽优先级 处理的是当多种数据类型同时流动时，带宽如何分配的问题。许多 NPU 可以使用不同的 buffer 并发地流式传输权重、activation 或 KV cache，但片外带宽总量有限，无法让每条路径都达到满速。 ** 为了控制设计空间的复杂度，论文采用了固定的分配策略，例如在 matrix priority 模式下，给 matrix data 分配 75% 的带宽，给 vector data 分配 25% 的带宽。**

上图 3 展示了软件控制的数据流策略、带宽分配和存储调度示例。图中清晰地展示了 on-chip、off-chip、systolic array、HBM 和 SRAM 之间的数据移动关系。 这表明 MemExplorer 并非仅仅关注硬件规格，而是将数据流和存储优先级作为影响性能和能效的核心因素。

好的，作为一名资深主编和文章改写专家，我已严格遵循您设定的所有规则，对原文片段进行了深度重写与降重，并确保了所有技术事实、数据和逻辑的100%完整保留。

以下是重写后的专业版本：

表 4 展示了软件策略的消融实验结果，其配置基于表6中的P1，且批量大小设为1。当采用权重驻留（WS）数据流与激活值优先的片上存储策略时，通过最大化数据复用并降低片外数据交换量，系统达到了最优的能效表现。再结合双缓冲机制与权重优先的带宽分配方案，计算过程与内存传输实现了高效的重叠。此表格量化剖析了三大软件策略——即片上存储优先级、数据流模式以及带宽分配优先级——分别对能效产生的具体影响。基准配置设定为均衡的存储、输出驻留的数据流及均衡的带宽分配；而S1至S4则代表不同的策略组合。实验数据表明，S4组合（权重驻留数据流 + 激活值优先片上存储 + 权重优先带宽分配）的能效表现最为出色，达到了基准水平的2.31倍。其根本原因在于，该组合最大化地复用了权重数据，并优先缓存了激活值，从而极大减少了片外内存的访问次数。同时，合理的带宽分配也避免了资源浪费。相比之下，采用输入驻留数据流（S5）的策略，由于需要频繁传输激活值，其能效反而低于基准线。这项消融实验有力地证实了软件调度策略对异构内存系统能效的关键性影响，并为MemExplorer实现算法感知的协同设计提供了最优软件策略组合。

从表4的软件策略消融实验中可以观察到，从Base配置到S3配置，其Token/J指标从1.00倍提升至2.31倍。实现这一飞跃的关键组合是：将激活值优先存入片上存储、采用权重驻留（weight-stationary）的执行模式，以及为权重分配优先带宽。然而，S4配置的能效却降至0.59倍。这揭示了一个核心洞察：软件策略并非“越偏向某类数据就越好”，而是必须与负载所处的阶段、内存层级结构以及带宽分配策略实现协同匹配。

该论文最具工程实践价值之处在于，它并未将“编译器如何调度数据”视为一个后处理步骤，而是将数据流模式、片上数据驻留策略以及带宽分配方案，直接整合进了硬件架构的搜索流程中。

unsetunset六、搜索方法：利用多目标贝叶斯优化逼近Pareto前沿unsetunset

MemExplorer需要应对一个约 量级的设计空间，因此穷举搜索是不可行的。为此，论文采用了多目标贝叶斯优化（Multi-Objective Bayesian Optimization），旨在通过较少的评估次数，逼近吞吐量与功耗之间的Pareto前沿。

该论文的搜索空间包含了多个维度的参数：PE阵列维度、VLEN、3D堆叠SRAM的层数、传统SRAM的开关状态、HBM/HBF/GDDR/LPDDR的类型及其堆叠数量、激活值/KV缓存/权重的量化精度、片上存储的优先级、数据流策略，以及片外带宽的优先级等。表2完整地列出了这个设计空间，例如，PE阵列的选项有 、、、，VLEN的取值范围是128到2048，而HBM可以选择HBM3E或HBM4，并可配置1、2、4或8个堆叠。

表 2：设计空间参数，涵盖计算、内存配置及软件策略。片上存储指的是分配额外的片上内存来存储高频复用的数据（如权重、激活值、KV缓存），以此减少片外数据流量；数据流策略指的是不同的GEMM执行策略（如权重驻留WS、输入驻留IS、输出驻留OS），这决定了数据在不同内存层级间的复用模式；带宽分配则是指重新分配有限的片外带宽，以最大化带宽利用率。该表全面定义了MemExplorer所要探索的百万级设计空间，其核心参数覆盖了计算、内存、软件三大维度。计算维度包括PE阵列的维度和向量长度；内存维度涵盖了3D堆叠SRAM的层数、HBM/HBF/GDDR/LPDDR的类型及其堆叠数量；软件维度则包含了量化精度、片上存储优先级、数据流策略和带宽分配优先级。每个参数都提供了离散化的候选值，这既保证了设计的可行性，也兼顾了探索效率。MemExplorer将硬件架构与软件策略纳入同一个协同设计空间，这与传统上固定内存配置的优化思路截然不同。它通过多目标优化算法遍历参数组合，旨在锁定最适合智能体工作负载的软硬件协同方案，这也是其实现高效异构内存设计的核心前提。

搜索的目标是同时最大化吞吐量、最小化功耗，并满足系统的总成本约束。假设 代表一个设计配置， 表示吞吐量、功耗等多个目标，那么核心目标就是找到那些接近真实Pareto前沿的设计点。 Pareto最优的含义是：不存在任何一个其他配置，能够在不让任何目标变差的前提下，改善至少一个目标。

论文采用高斯过程（GP）作为代理模型，并使用期望超体积提升（EHVI）作为采集函数。初始化阶段，利用Sobol准随机序列采样20个配置；随后进入迭代阶段，不断拟合GP模型、最大化EHVI、评估新的配置，直至耗尽100次评估的预算。GP模型能给出预测均值和不确定性，而EHVI则用于衡量，如果一个候选点被评估，它能为当前Pareto集合带来多少超体积的改善。

论文将超体积定义为：

其中， 是当前的Pareto集合， 是参考点， 表示当前Pareto集合所支配的目标空间体积。EHVI的定义则为：

其中， 表示候选设计 的期望超体积提升， 表示已经评估过的数据集。通俗地说，EHVI会优先选择那些既可能表现优异，又能扩展Pareto边界的设计点。

图 6：设计空间探索过程中超体积（HV）的收敛情况，基于10个随机种子的均值（阴影区域表示±1标准差）。图中对比了四种方法：本文方法（GP+EHVI）拟合独立的高斯过程代理模型，并通过最大化解析的期望超体积改进值来选择下一个候选点；NSGA-II是一种基于非支配排序和拥挤距离的种群进化算法；MO-TPE是基于Optuna实现的多目标树结构Parzen估计器；随机搜索则是均匀随机采样。前20步均采用相同的随机初始化，以保证对比的公平性。该图验证了MemExplorer采用的多目标贝叶斯优化（GP+EHVI）在设计空间探索中的高效性。超体积（HV）是衡量帕累托前沿质量的核心指标，数值越高，代表优化方案在性能与功耗之间的权衡越好。与NSGA-II、MO-TPE和随机搜索相比，GP+EHVI的收敛速度最快，能在有限的评估次数内快速逼近最优的帕累托前沿，并且其标准差更小，稳定性更强。这是因为高斯过程代理模型能够精确拟合设计参数与性能、功耗之间的非线性关系，而EHVI采集函数则能很好地平衡探索与利用，从而高效筛选出高潜力的配置。该结果证明，MemExplorer的探索算法能够高效遍历百万级的设计空间，快速锁定异构内存系统的最优配置，解决了传统遍历搜索效率低下的难题。

MemExplorer将NPU内存设计问题从依赖经验调参，转变为多目标优化问题：其目标不再是寻找单一的最优点，而是在吞吐量、功耗和容量约束之间，寻找一个可解释的Pareto前沿。

图 5：内存读写功耗测量。左侧的读能耗（）路径展示了从内存单元读取数据并传输至Plena计算核的端到端能耗；右侧的写能耗（）路径则体现了从Plena计算核传输数据并写入内存单元的能耗。该图拆解了内存读写能耗的物理路径，为MemExplorer精准构建内存功耗模型提供了实测依据。读能耗涵盖了内存单元读取、片上传输、接口通信等环节，而写能耗则包含数据接收、信号转换、单元写入等过程，这两条路径的能耗损耗节点差异直接影响着整体功耗的计算精度。论文中的内存功耗模型将静态背景功耗、读/写单位能耗作为核心参数，正是基于此类实测数据。精准的读写能耗建模，使得MemExplorer在设计空间探索中，能够准确评估不同内存配置的功耗代价，从而实现性能与功耗的平衡优化，为异构内存架构的能效评估奠定了基础。

unsetunset七、实验结果：Prefill阶段需要高带宽片上内存，Decode阶段则需要大容量、低功耗的内存层级unsetunset

实验部分最重要的结论是：prefill和decode阶段的最优内存结构确实存在差异，并且这种差异足以支撑分离搜索和异构设备的设计思路。

论文在Llama-3.3-70B、Qwen3、LLaDA等模型上进行了评估，并使用了BFCL和OSWorld作为智能体工作负载。为模拟真实的智能体行为，作者使用Llama-3.3-70B运行了BFCL-Web Search Base和OSWorld LibreOffice，由此得到了两个具有代表性的token配置：BFCL-Web Search Base的prompt为114K，生成为5K；OSWorld LibreOffice的prompt为90K，生成为8K。

表 3：BFCL 智能体工作负载中 Web-Search-Base 子任务的位宽消融实验结果。采用 8/8/8 量化配置时，模型精度与全精度基准基本持平，同时内存带宽和存储需求降低了一半，因此后续实验均以此为基础展开。本实验系统评估了权重、激活值及 KV 缓存的量化位宽对智能体任务性能、带宽占用和存储容量的综合影响。实验基于 Qwen3-32B 模型进行：全精度（16/16/16）配置虽然任务成功率最高，但带宽与存储开销极大；8/8/8 量化方案在保持任务成功率的同时，将带宽和存储需求压缩至一半，实现了性能与资源开销的良好平衡；而 4/4/4 量化因精度损失严重，导致任务成功率大幅下滑，无法满足智能体推理的基本要求。该消融实验明确了后续实验的标准量化配置，证实了适度量化是缓解内存压力、提升推理效率的有效手段，也为 MemExplorer 探索量化技术与内存架构的协同优化提供了关键依据，从而在模型精度与硬件资源约束之间找到了平衡点。

在量化方面，表 3 显示，在 Qwen3-32B 的 BFCL Web-Search-Base 任务中，8/8/8 配置的成功率与 16/16/16 基线相当，甚至从 0.33 微升至 0.36，同时峰值带宽和存储需求从 174.4GB 降至 87.2GB，实现减半。4/4/4 配置虽将存储进一步压缩至 43.6GB，但成功率跌至 0.17。因此，后续实验均采用 8/8/8 作为性能与资源的折中点。

表 5：固定软件策略为表 6 中 P1 配置的内存层级消融实验结果。增加片上 SRAM 容量有助于容纳更多激活值和权重，从而降低片外带宽需求，适配低带宽、高能效的片外内存技术。该表对比了不同内存层级组合在功耗、批量大小、吞吐量和能效方面的差异。基准配置为单层 SRAM 加 HBM3E，批量仅为 1，能效最低；H1 配置引入 3D 堆叠 SRAM，批量不变但能效提升 2.62 倍；H2 配置叠加 LPDDR5X，批量提升至 8，能效达到基准的 3.06 倍；H3 配置加入 HBF，批量增至 32，但功耗飙升，能效回落。实验表明，3D 堆叠 SRAM 是降低片外带宽依赖的核心要素，而多层异构内存（SRAM+HBM+LPDDR）能够有效平衡容量、带宽与功耗；HBF 虽然提供超大容量，但高功耗限制了其能效表现，更适合作为容量补充层级。该结果为 MemExplorer 设计分层异构内存架构提供了层级组合的最优思路。

内存层级消融表 5 显示，增加 3D-SRAM 可显著提升 Token/J。

• Base 配置：1 个片上 SRAM + 4 个 HBM3E，Token/J 为 1.00 倍；
• H1 配置：3 层 3D-SRAM + 4 个 HBM3E，Token/J 达到 2.62 倍；
• H2 配置：进一步加入 LPDDR5X，最大 batch 提升至 8，Token/J 达到 3.06 倍；
• H3 配置：加入 HBF 和 LPDDR5X 后，最大 batch 升至 32，但功耗飙升至 718.96W，Token/J 降至 1.55 倍。

这说明容量并非越大越好，HBF 若带来过高的背景功耗，反而会削弱能效优势。

表 6 展示了核心结果。

表 6：针对 OSWorld 任务（输入 90K token、输出 8K token）的设计空间探索，筛选出的预填充与解码优化帕累托前沿样本。该表列出了预填充和解码场景下的最优异构内存与计算配置，严格遵循 700W 功耗约束。预填充最优配置 P1 采用 2048×256 PE 阵列、3 层 3D 堆叠 SRAM、HBM4+HBF 组合，吞吐量达到基准的 6.71 倍，适配长序列批量处理；能效优先配置 P2 降低计算规模、增加 LPDDR 层级，兼顾中高吞吐量与低功耗。解码最优配置 D1 精简计算单元、保留单层 SRAM、HBM3E+HBF 组合，吞吐量提升 1.44 倍；高能效配置 D2 增加 3D 堆叠 SRAM 与 LPDDR 层级，批量达到 32，能效最优。两类场景的配置差异显著：预填充侧重高带宽片上存储与 HBM，解码则侧重大容量层级与精简计算，验证了分阶段异构设计的必要性与有效性。

在 Prefill 优化中：

• P1 配置：采用 PE array、VLEN 2048、3 层 3D-stacked SRAM、2 个 HBM4、1 个 HBF，软件策略为 activation storage、weight-stationary、matrix bandwidth priority，平均功耗 632.3W，TDP 697.1W，batch 为 16，TPS 达到 Base 的 6.71 倍。
• P2 配置：更偏重能效与容量，使用 2 层 3D-stacked SRAM、2 个 HBM4、两层 LPDDR5X，batch 为 16，TPS 为 4.93 倍。

在 Decode 优化中：

• D1 配置：使用 PE array、VLEN 1024、1 个 SRAM、2 个 HBM3E、1 个 HBF，batch 为 16，TPS 为 1.44 倍；
• D2 配置：使用 1 层 3D-stacked SRAM、2 个 HBM4、2 个 HBF 和两层 LPDDR5X，batch 为 32，TPS 为 2.19 倍。

由此可见，解码阶段并不追求最大的矩阵阵列，而是倾向于更小的计算资源和更大的内存容量，以提升批处理能力和功耗效率。

图 7：从帕累托前沿中筛选出满足 700W 功耗约束、最大化每焦耳 token 数的样本。该图呈现了 OSWorld 任务下，预填充和解码优化配置在吞吐量（TPS）与能效（Token/J）维度的帕累托最优解集。所有样本均受 700W 功耗上限约束，与 H100 GPU 功耗持平，确保对比公平性。预填充优化样本集中在高吞吐量、中高能效区域，适配长序列批量处理；解码优化样本侧重高能效，兼顾中等吞吐量，契合 KV 缓存密集型场景。样本分布清晰体现了两个阶段优化目标的差异。MemExplorer 通过多目标优化，筛选出兼顾性能与能效的差异化配置，证明异构内存架构能够突破同构 HBM 架构的能效瓶颈，为智能体推理提供更优的硬件设计方案。

上图展示了 prefill 与 decode 分别形成不同的 Pareto frontier，并选出 P1、P2、D1、D2 等代表配置。该图说明 MemExplorer 并非输出唯一答案，而是让系统设计者在性能优先和能效优先之间进行选择。

图 8 进一步对比了 A100、H100、Base 和 P1+D1 组合。

图 8：不同配置下的吞吐量与能效对比。P1 配置延迟更低，但因计算资源少于 A100 和 H100，延迟仍高于两者；D1 配置吞吐量更高，提升了解码效率；P2 和 D2 配置优先保障能效，每焦耳 token 数显著提升；P1+D1 组合配置实现了均衡设计，在预填充和解码阶段兼具低延迟与高吞吐量。预填充-解码解耦建模中，通信通道采用 NVLink 模拟，与 LLMCompass 方法一致。P1（预填充最优）、D1（解码最优）、P2（能效优先）、D2（能效优先）四类定制化配置，在吞吐量和能效上均显著优于基准 NPU 和 H100。其中 P1+D1 组合实现了预填充高吞吐、解码高能效的均衡表现，适配全流程智能体推理。与 GPU 对比，MemExplorer 异构 NPU 虽然在原始延迟上略有差距，但能效提升 2-3 倍，且可通过解耦设计灵活匹配两阶段需求。该结果验证了异构内存架构与分阶段优化策略的有效性，为下一代智能体推理加速器提供了优于传统 GPU 的设计范式。

论文指出，P1 配置可实现较低的 TTFT，但由于计算资源减少，延迟仍高于 A100 和 H100；D1 配置提供更高的 TPS，改善了 decode 吞吐；P2 和 D2 更重视能效，tokens-per-joule 显著更高；P1+D1 组合则在 prefill 和 decode 之间取得了平衡。

实验结果有力支撑了论文的核心主张： prefill 最依赖高带宽片上存储和计算吞吐，decode 最依赖容量和功耗效率。 将两者拆开设计，并非工程上的复杂化，而是对负载本质的精准匹配。

图9展示了预填充与解码阶段异构优化的理论性能上限对比。该图参考了表6中的P1（紫色）与D1（绿色）配置。在预填充密集型负载中，注意力层与前馈网络层的性能瓶颈截然不同，前者受限于带宽，后者受限于计算，因此可以分别进行独立优化；而解码阶段由于序列较短，优化带来的收益相对有限。对于解码密集型负载，可以将解码过程拆分为前期（前50%的token）和后期（后50%的token），这两个阶段在内存与计算特性上存在显著差异，从而提供了额外的优化空间。该图旨在深入探索智能体推理场景下的极致异构优化潜力，突破了传统的预填充-解码两阶段划分方法，将优化粒度深入到层级和解码阶段内部。具体而言，在预填充密集场景下，针对注意力层的带宽瓶颈和前馈网络层的计算瓶颈，可以分别分配不同的内存与计算资源；在解码密集场景下，前期解码的KV缓存增长迅速、内存压力大，而后期解码的访问模式趋于稳定、带宽需求降低，分阶段优化能够精准匹配不同阶段的资源需求。通过这种精细化的异构设计，MemExplorer进一步挖掘了性能和能效的提升空间，证明了智能体推理系统的异构化可以从设备级别延伸至层级和阶段级别，为追求极致优化指明了新方向。

八、扩展到新模型：Diffusion LLM 与大规模 MoE

论文并未局限于自回归Transformer模型，还进一步对扩散语言模型（Diffusion Language Model）和超大规模稀疏MoE进行了测试，这充分表明MemExplorer的搜索框架具有良好的可迁移性，能够适应新兴的模型架构。

扩散语言模型并非逐token自回归生成，而是通过对整个序列进行多次迭代去噪来生成token。在推理过程中，模型需要多次处理完整的序列，因此全序列的计算和内存访问会反复发生。与自回归模型相比，dLLM的激活值占用空间更大，因为中间激活值会随着序列长度增长，并且需要在多个扩散步骤中被复用。因此，dLLM对片上内存的容量和带宽提出了更高的要求。

表7展示了扩散语言模型LLaDA-8B在不同内存配置下的性能与能效对比，以基准配置为归一化参照。将所有激活值和部分KV缓存驻留在片上可以显著提升性能，因此预填充和解码阶段倾向于采用相似的内存设计。针对扩散语言模型（dLLM）迭代去噪、全序列重复计算的特点，该表对比了不同内存配置的表现。dLLM激活值占用空间大且需多次复用，因此其对片上存储的要求高于自回归LLM。基准配置为单层SRAM加HBM3E，批量大小为128，能效归一化为1；预填充优化配置采用2层3D堆叠SRAM加HBM3E，批量大小降至64，但能效提升至1.65倍；解码优化配置采用3层3D堆叠SRAM加HBM3E，能效提升至1.33倍。实验证明，3D堆叠SRAM对于提升dLLM性能至关重要，它可以减少重复的片外激活值传输。同时，由于dLLM的两个阶段都依赖于激活值复用，其内存配置趋于一致，这为MemExplorer适配新型AI模型提供了重要的设计参考。

表7以LLaDA-8B为例：
* 预填充优化配置：使用2层3D堆叠SRAM和2个HBM3E，Token/J达到1.65倍；
* 解码优化配置：使用3层3D堆叠SRAM和2个HBM3E，Token/J为1.33倍。

作者指出，由于dLLM的预填充和解码阶段都更倾向于存储激活值，因此两个阶段会收敛到相似的内存设计。这一点非常有启发性：预填充/解码的异构并非永恒不变的规则，而是由模型结构决定的。更换模型后，最优的分工方案可能会发生变化。

MoE实验使用了Qwen3.5-397B-A17B模型，总参数量为397B，但每个token只激活17B参数。该模型的权重存储量约为370GB，代表了极大规模的稀疏推理负载。 对于这种模型，HBF频繁进入最优配置，因为它具备高容量和中等偏高的带宽，非常适合存放那些不常被访问的专家权重。同时，MoE的中间激活值也很大，3D堆叠SRAM能够减少片外流量并提升数据复用率。

表8显示，在Qwen3.5-397B-A17B模型上：

表8展示了大规模MoE模型Qwen3.5-397B-A17B在不同内存配置下的性能与能效对比，以PLENA加HBF×2的基准配置为归一化参照。该表聚焦于千亿级稀疏MoE模型，该模型总参数为397B，单token激活17B，需要超大容量来存储专家权重，同时需要高带宽来支撑专家加载。基准配置为3D堆叠SRAM加HBF×2，批量大小为32，能效归一化为1；预填充优化配置采用4层3D堆叠SRAM加HBF×2，批量大小提升至128，能效提升3.52倍，片上大容量存储大幅减少了专家权重的片外访问；解码优化配置采用单层SRAM加HBF×1加LPDDR5X×8，批量大小为64，能效提升1.13倍，LPDDR用于补充容量并降低功耗。结果表明，HBF是存储海量专家权重的最优选择，而3D堆叠SRAM是缓解稀疏访问带宽压力的关键，这为超大规模稀疏模型的内存架构设计提供了核心解决方案。

• 预填充优化配置：使用4层3D堆叠SRAM和2个HBF，批量大小从32提升到128，Token/J达到3.52倍；
• 解码优化配置：使用1个HBF和两层LPDDR5X，Token/J为1.13倍。

这里可以清晰地看到HBF的价值：对于权重巨大的稀疏模型，它并非锦上添花，而是让系统能够容纳模型状态的关键容量层。

MemExplorer的更大意义在于它面向模型的演进。自回归LLM、dLLM、MoE对内存的压力完全不同，固定的架构很难长期适配，而可搜索的异构内存框架更接近未来AI基础设施的真实需求。

九、相关工作：本文与已有研究的差异

相关工作可以分为三类：内存技术、面向内存技术的软硬件协同设计，以及异构NPU的预填充-解码分离服务。

9.1 第一类是内存技术本身

• HBM已广泛应用于从NVIDIA V100到B200以及未来Vera Rubin的系统；
• GDDR提供了更具成本效益的选择；
• LPDDR强调能效，已用于NVIDIA Grace等数据中心平台；
• HBF试图填补高带宽内存和传统存储之间的容量空白；
• 3D堆叠SRAM则通过垂直堆叠来扩大片上容量。

论文的立场并非押注于某一种特定技术，而是承认它们各自在容量、带宽、功耗和物理约束方面存在差异。

9.2 第二类是内存模拟和软硬件协同

Ramulator、DRAMSys等工具能够进行DRAM级别的详细周期模拟，但它们主要面向传统DRAM技术，不覆盖3D堆叠SRAM或HBF，也无法直接对LLM推理的端到端负载和加速器执行特征进行建模。

• H3提出了HBM-HBF混合架构，证明了分层片外内存对LLM推理有益，但没有对片上内存层级和详细的流量模式进行建模。
• Li等人的工作关注基于3D-DRAM的LLM服务加速器，但聚焦于特定技术，而非统一探索多种内存技术。

9.3 第三类是预填充-解码分离

DistServe、Splitwise、Mooncake等工作将计算密集的预填充阶段与受内存限制的解码阶段分离，以减少资源干扰。

RPU和PLENA等NPU设计探索了异构NPU配置，但更多关注计算异构，而内存配置相对固定。MemExplorer的不同之处在于，它将计算异构和内存异构纳入同一个搜索框架，尤其强调预填充与解码阶段在内存需求上的差异。

MemExplorer相对于已有工作的关键优势在于，它并非仅仅进行内存技术评估，也不是只做预填充-解码分离服务，而是将多层内存技术、NPU计算参数和软件数据流策略联合起来，进行系统级的搜索。

十、结论与展望

10.1 结论总结

论文的结论明确指出，LLM系统中不断增加的硬件加速器异构性，给内存系统架构的协同设计带来了新的挑战。MemExplorer试图自动识别异构NPU系统中的高效内存架构。

本研究的核心贡献可归纳为以下三点。

• 其一，提出了一种统一内存抽象模型，将 SRAM、HBM、LPDDR、GDDR、HBF 及 3D-stacked SRAM 等多种内存技术纳入同一个层级模型与功耗模型中进行比较分析。
• 其二，将 NPU 计算阵列、VLEN、内存堆叠配置、量化精度、数据流、片上存储以及片外带宽分配进行联合搜索优化，而非独立调整硬件或软件参数。
• 其三，通过针对 agentic workload 的 prefill/decode 分阶段搜索，证实了二者对内存结构的不同需求：prefill 阶段受益于大容量、高带宽的 3D-stacked SRAM，而 decode 阶段则更依赖于大容量、较低带宽但能效更优的片外内存层级。

实验结果表明：

• 在相同功耗预算下，MemExplorer 对 agentic workloads 的最高能效提升可达 baseline NPU 的 2.3 倍；
• 在 prefill-only 设定下，其性能相比 H100 最高提升 3.23 倍；
• 在 decode 设定中，在等性能目标下，其功耗效率相比 baseline NPU 和 H100 分别最高提升 1.93 倍和 2.72 倍。
• 针对 dLLM 和 MoE 的扩展实验亦表明，该框架能够有效处理不同模型结构所带来的内存需求差异。

10.2 进阶分析

这篇论文直面了一个非常现实的问题，但它更像是一个架构空间探索框架，而非一个已闭环至真实芯片部署的完整系统。其方法从根本上指出了“固定内存架构无法适配 agentic 推理阶段差异”这一症结，但对实际部署而言，仍依赖于若干假设。

表 9：Llama-3.3-70B 预填充阶段 Transformer 块性能验证，输入序列长度为 4096。该表通过与周期级模拟器对比，验证了 MemExplorer 解析模型的准确性。以 PLENA 模拟器为基准，单块 Transformer 模拟耗时 814.14ms，运行 4.15 分钟；PLENA 原生解析模型误差为 19.14%，耗时 3ms；而 MemExplorer 优化模型误差仅为 10.20%，耗时 24ms。MemExplorer 在保持高准确率的同时兼顾了计算效率，其原因在于其统一内存模型精准刻画了异构层级的延迟、带宽与功耗，简化了模拟器的冗余细节，从而适配大规模设计空间探索的需求。该验证证明，MemExplorer 解析模型能够高效、精准地评估异构 NPU 性能，为快速遍历百万级设计空间、锁定最优配置提供了可靠的评估工具，解决了周期级模拟器效率低下、无法支撑大规模探索的难题。

• 第一，论文的核心结果依赖于分析模型和扩展模拟器。尽管表 9 显示作者的模型相比 PLENA 模拟器，误差从 19.14% 降低至 10.20%，运行时间从分钟级降至毫秒级，但约 10% 的误差对于芯片架构选择而言并非总能忽略。尤其是在多个 Pareto 点性能接近时，模型误差可能改变排序结果。
• 第二，HBF 等新兴内存技术的参数来源于论文及公开资料的推导，其中部分数值是通过 scaling factor 计算得出。HBF 在真实封装、可靠性、寿命、写放大、控制器复杂度以及软件栈支持等方面存在的问题，本文并未充分展开。因此，HBF 在搜索结果中频繁出现，并不等同于它在近期工程上就一定具备可落地性。
• 第三，论文未对多设备共享内存系统进行建模，也未捕获 C2C 互连和跨设备通信的开销。然而，prefill-decode disaggregation 在真正部署时，KV cache 迁移、调度延迟、互连拥塞以及多租户干扰等因素都可能影响端到端收益。论文虽采用了类似 LLMCompass 的 NVLink 通信建模，但这并非完整的数据中心级服务模型。
• 第四，论文当前的精度设置在 prefill 和 decode 阶段保持一致，不支持跨阶段的 mixed precision。但在现实中，prefill、decode、KV cache、attention 和 FFN 可能对精度有不同的容忍度。若引入混合精度，搜索空间将进一步扩大，也可能改变最优内存层级的选择。

11.3 未来工作

原文计划主要包含三点。

• 第一，在真实 GPU 和加速器平台上验证框架性能，而不仅仅局限于分析模型和模拟器。
• 第二，将框架扩展至具有共享内存层级的 multi-core compute systems，并纳入 C2C 互连和跨设备通信开销。
• 第三，将 mixed-precision execution 和更多 emerging memory technologies 纳入探索范围。

从 NeuralTalk 视角来看，MemExplorer 还可以向三个更具野心的方向拓展。

• 第一，与 LLM serving runtime 结合，使系统能根据实时 workload trace 动态选择 prefill/decode 分配策略，而非仅进行离线架构搜索。
• 第二，将成本模型纳入目标函数，例如 HBM、HBF、3D SRAM 的封装成本、良率及供应链约束，从而使搜索结果更贴近数据中心采购决策。
• 第三，将编译器和内存系统的协同推进至更细粒度，例如让 kernel fusion、KV cache layout、attention 分块策略直接反馈至内存层级搜索中。

MemExplorer 最重要的启示在于：未来 AI Infra 的核心优化对象不再是单颗芯片的峰值算力，而是由模型阶段、内存层级、互连、数据流和功耗预算共同决定的系统级 Pareto 前沿。