Meta MobileLLM-Flash：以真实延迟为第一性原理，重塑端侧大模型设计范式

关键词：端侧大模型、延迟感知、硬件在环、架构搜索、混合注意力

当你对着手机上的 AI 助手提问，然后等待……1 秒、2 秒、3 秒……直到第 10 秒，才看到第一个字出现。根据尼尔森定律，这种超过 4 秒的延迟，已足以让用户感到焦躁甚至放弃使用。这正是当前端侧大模型在追求“智能”时，常常忽略的“人性化”痛点。

业界普遍认为，模型的“快”等同于参数少、计算量低。于是，大量“小而美”的模型涌现，它们在 FLOPs 和参数量上表现优异，但一旦部署到真实的手机上，却依旧步履蹒跚。

为什么？因为 FLOPs 和参数量只是衡量计算“工作量”的纸面指标，而非衡量实际“耗时”的真实结果。缓存、内存带宽、算子实现乃至操作系统调度，都在共同决定最终的用户体验。

Meta AI 最新发布的 MobileLLM-Flash，正是为了解决这一根本性矛盾而生。它没有沉溺于参数竞赛，而是提出了一个核心洞见：设计端侧大模型，必须以真实的移动端延迟为“第一性原理”，让硬件本身来指导模型的架构设计。

通过硬件在环的架构搜索，MobileLLM-Flash 直接在三星 Galaxy S25 手机上测量延迟，并以此作为优化目标。

图 1：MobileLLM-Flash 与最先进的端侧大语言模型的比较。在移动端 CPU 上，其预填充和解码速度分别提升至 1.8 倍和 1.6 倍，同时精度优于同类模型。

最终，他们在 350M、650M 和 1.4B 三个尺寸上，实现了在移动端 CPU 上最高 1.8 倍（预填充）和 1.6 倍（解码）的加速，同时保持甚至超越了同类模型的准确性。 这不仅是参数的胜利，更是对“延迟-质量”帕累托前沿的精准把握。

本文将深入解读这项来自 Meta 的行业级工作，剖析其如何通过巧妙的剪枝搜索、高效的注意力模式选择以及深刻的设计原则，揭示在真实世界中打造“又快又准”端侧大模型的最优路径。

一、引言：端侧大模型的“紧箍咒”—— 真实延迟

在构建 AI 应用时，我们通常关注两个指标：质量和效率。但对于部署在手机、智能眼镜等资源受限设备上的端侧大模型，效率的定义远非“参数量”或“FLOPs”那么简单。真正的紧箍咒是延迟，特别是首字延迟。

论文明确指出：“While a 4s TTFT can still yield a reasonable user experience, a 10s TTFT does not (Nielsen 1994; Kim et al. 2026).” 这意味着，在设计模型时，必须在保证质量的前提下，强制性地将 TTFT 压入一个严格的“时间窗口”。作者发现，对于端侧模型而言，处理约 2000 个 token 的预填充阶段，是一个能兼顾任务能力和延迟的“甜蜜点”。

然而，传统的优化方法常常与这个目标背道而驰：

1.1 以 FLOPs/参数量为替代指标：这是最普遍的误区

表 2 揭示了残酷的现实：参数量与预填充延迟的 Kendall tau 相关系数仅为 0.40，FLOPs 与预填充延迟的相关系数也仅有 0.46。

注：Kendall tau 相关系数是一种衡量两个排序序列一致性的统计量。值越接近 1 表示排序越相关，作者用于证明参数量/FLOPs 与真实延迟排序关联较弱。

这意味着，一个 FLOPs 更低的模型，在手机上跑起来未必更快！ 这背后的原因很复杂，例如内存访问模式、算子优化、硬件调度等。依赖这些替代指标，无异于“盲人摸象”。

表 2：实际测量的预填充/解码速度与参数量/FLOPs。该表通过 Kendall tau 相关系数揭示了理论指标与实际延迟之间的微弱关联。

1.2 依赖专用内核

许多优秀的模型设计，如 Mamba2、Gated DeltaNet 等，虽然从算法上大幅降低了计算复杂度，但它们依赖于高度优化的、非标准的 CUDA 内核。

这在服务器端可能不是问题，但在跨平台（Android、iOS）的移动端运行时（如 ExecuTorch）上，这些内核的缺失或性能不佳，会成为部署的“最后一公里”障碍。

MobileLLM-Flash 的设计哲学正是要破除这两个障碍。其核心思想是：在真实硬件上测量延迟，并用这个真实的延迟来指导整个设计流程。

二、核心方法：让硬件说话——两阶段延迟感知设计

MobileLLM-Flash 的方法论可以概括为一个由“硬件-软件协同”驱动的两阶段搜索框架，如图 2 所示。

图 2：两阶段端侧大语言模型设计概览。

该框架通过基于贝叶斯优化（BO）的架构与注意力模式联合搜索，对预训练模型进行剪枝。其核心在于将“延迟”这一实际部署中的关键指标引入搜索循环。

• 第一阶段：学习延迟模型。从搜索空间中采样剪枝后的架构，并在手机上直接测量其延迟。这些低成本的真实设备测量数据用于训练一个高精度的延迟代理模型，从而避免了后续对每个候选架构进行昂贵的实测。
• 第二阶段：帕累托前沿搜索。利用训练好的延迟代理模型，引导贝叶斯优化高效探索搜索空间，生成精度-延迟的帕累托前沿。该阶段聚焦于高潜力区域进行精度评估，使得搜索过程能够直接反映真实硬件瓶颈（如内存访问、算子调度），而非依赖 FLOPs 等理论指标。

这种硬件在环的设计不仅提高了搜索效率，也确保了最终产出的模型能够直接满足工业级部署的严苛延迟要求。

2.1 结构化剪枝：高效的架构“继承者”

从头训练每个候选模型成本过高，不切实际。MobileLLM-Flash 巧妙地采用了结构化剪枝的方法：从一个预先训练好的、相对较大的“主干模型”出发，通过剪枝其维度、层数和注意力模式，来生成新的、更小的候选架构。

这种方法的关键优势在于“继承”：

• 效率：剪枝后的模型直接继承了原始模型的权重，因此只需极少的“持续预训练”即可达到较高的质量。
• 快速排名：实验发现，训练仅 2.6B token 后，不同架构的质量排名就已经与训练 500B token 后的最终排名高度一致（Kendall tau 相关系数为 0.74）。这极大地加速了搜索过程。
• 基于能量的剪枝标准：剪枝决策由数据驱动，而非随机。
  • FFN 维度：根据 FFN 层激活的 L2 范数（能量）来剪枝。
  • 模型维度：根据 LayerNorm 输出的 L2 范数来剪枝。
  • 层数：根据输入输出激活的余弦相似度来判断哪些层是“不重要”的，优先剪掉功能冗余的层。

这为架构搜索提供了一个高效、数据驱动的起点。

2.2 受限的搜索空间：拥抱“开箱即用”的算子

为了确保模型能在生产环境中无缝部署，MobileLLM-Flash 严格限制其搜索空间，只包含那些被主流移动端运行时（如 ExecuTorch）原生支持的算子。这大大降低了部署门槛。

搜索空间 S 被定义为架构参数的组合。其中，最关键的是注意力模式，仅考虑以下三种类型：

1. 全局注意力：标准的全注意力机制。
2. 滑动窗口注意力：限制每个 token 只关注其附近一定窗口内的 token。
3. 跳跃注意力：完全跳过某个 Transformer 层的注意力计算，相当于该层只由前馈网络构成。

这种务实的限制，使得最终搜索出的模型可以“即插即用”，无需任何自定义内核。

2.3 两阶段贝叶斯优化：延迟与质量的双重奏

有了搜索空间和候选生成方法，如何高效地找到最优解？MobileLLM-Flash 采用了贝叶斯优化，并巧妙地将其分为两个阶段，以解决“测量延迟快、训练质量慢”的矛盾。

第一阶段：学习延迟模型

在此阶段，从搜索空间中大量采样候选架构，在真实手机上快速测量其预填充延迟。这些数据点用于训练一个高斯过程替代模型，该模型可以准确预测任意新架构在手机上的延迟。

第二阶段：帕累托前沿搜索

拥有延迟预测模型后，搜索过程从依赖真实硬件测量转变为依赖模型预测，速度得到极大提升。

图 3：延迟-精度帕累托前沿示意图。

在端侧模型设计中，延迟与精度往往是一对矛盾的目标。帕累托前沿上的每一个点都代表一种最优的权衡：在不牺牲精度的情况下无法进一步降低延迟，反之亦然。本文通过贝叶斯优化在搜索空间中探寻这一前沿，使得产品团队可以根据具体应用场景灵活选择合适的工作点。

现在，搜索只需关注“质量”这一昂贵的评估目标。贝叶斯优化算法（使用 NEHVI 采集函数）在搜索空间中，根据延迟替代模型和质量评估结果，寻找能最大化超体积改进的架构，即探索延迟-质量帕累托前沿。

图 4：剪枝模型的损失演变。

图中展示了不同候选架构在持续预训练过程中损失的下降曲线。关键发现是，在训练约 2.6B 个 token 时，各模型的损失排名已经与训练至收敛后的最终排名高度一致。这表明，无需将每个候选模型训练至收敛，即可通过早期损失值可靠地筛选出最优架构，这大大降低了搜索成本。

这个两阶段方法的核心优势在于，它将最昂贵、最耗时的模型训练（质量评估）精确地聚焦在最有希望的区域，而将相对廉价的延迟测量作为预处理步骤，从而在总搜索预算内找到了更优的解。

三、创新成果：MobileLLM-Flash 家族的设计原则与性能

通过上述方法，作者提炼出了两个关键的设计原则，并最终构建了 MobileLLM-Flash 模型家族。

3.1 效率原则一：浅而宽 > 深而薄

传统的设计直觉认为，更深的模型通常表达能力更强。但 MobileLLM-Flash 的帕累托分析（图 5）给出了一个有趣的发现：在相同的参数和延迟预算下，浅而宽（层数少、维度宽）的模型，其延迟-质量平衡优于深而薄（层数多、维度窄）的模型。

图 5：不同模型深度的帕累托曲线。

图中显示，在极低延迟区域，继续增加深度反而无法获得精度收益，此时浅而宽的模型成为最优选择。这一观察被提炼为“效率原则1”。

原因在于推理延迟的特性：推理延迟主要由内存访问和计算模式决定。更深的模型意味着更多的层间依赖，增加了内存加载和存储的次数，无法充分利用移动端 CPU 的并行性。而浅而宽的模型，每一层都能处理更大的矩阵，更好地利用了指令集和数据并行，从而在达到相同或更高质量的同时，获得更快的速度。这一发现与近期其他研究的观察一致。

3.2 效率原则二：跳跃注意力优于滑动窗口注意力，需合理布局

滑动窗口注意力（SWA）常被视为降低长上下文计算成本的有效方法。然而，在移动端的实际部署约束下，SWA 可能反而会引入额外的开销。

性能反直觉

理论计算量（如 FLOPs）与实际延迟之间的关联性在移动端可能失效。图6至图9展示了在不同序列长度下，模型参数量、FLOPs 与首词元时间（TTFT）及解码延迟的相关性分析。

图 6：2k 序列长度下，首词元时间（TTFT）与模型参数量及 FLOPs 的 Kendall Tau 相关性。

图 7：1k 序列长度下，首词元时间（TTFT）与模型参数量及 FLOPs 的 Kendall Tau 相关性。

图 8：2k 序列长度下，解码延迟与模型参数量及 FLOPs 的 Kendall Tau 相关性。

图 9：1k 序列长度下，解码延迟与模型参数量及 FLOPs 的 Kendall Tau 相关性。

这些散点图显示，数据点离散度大，未呈现明显的单调趋势。在相同 FLOPs 下，不同架构的延迟可能相差数倍，这普遍性地证明了理论指标与实际延迟之间存在“失配”现象。这警示我们，端侧模型设计必须将真实硬件测量纳入优化循环。

研究发现，在同等延迟约束下，采用跳跃注意力（即跳过整个注意力层）的模型，其性能普遍优于使用 SWA 的模型。进一步分析揭示了 SWA 在移动端运行时（如 ExecuTorch）效率不高的两个原因：

1. 块大小限制：预填充阶段通常将序列分成 1024 个词元的块进行处理。SWA 的窗口大小必须大于等于此块大小。因此，在处理 2k 词元时，只有第二个块（词元 1025 至 2048）能真正利用窗口的稀疏性，收益被大幅稀释。
2. 实现开销：SWA 的环形缓冲区实现方式，可能要求计算整个注意力矩阵，而非像标准因果注意力那样仅计算下三角部分，这反而可能增加计算开销。

因此，跳跃注意力（仅保留前馈网络）成为一种更直接、高效的计算节省策略。

然而，过度跳跃也会损害模型能力。表4表明，连续跳过3个以上的注意力层会严重损害模型在复杂任务上的性能。

表 4：注意力模式连续性与模型性能的关系。连续跳过超过3层注意力会导致复杂任务（如 TQA、ANLI）性能急剧下降。

因此，最优策略是在全局注意力和跳跃注意力之间进行合理的“交错”布局，以平衡长程建模能力与推理延迟。

3.3 MobileLLM-Flash 的性能表现

基于上述设计原则，我们构建了 MobileLLM-Flash 系列模型，包含 350M、650M 和 1.4B 三个版本。

图 1：MobileLLM-Flash 与先进端侧大语言模型的比较。在移动端 CPU 上，MobileLLM-Flash 实现了更快的预填充与解码速度，同时保持了更高的精度。

与同规模先进模型（如 LFM2）相比，MobileLLM-Flash 展现出显著优势：

• 速度优势：在移动端 CPU 上，实现了高达 1.8 倍的预填充加速和 1.6 倍的解码加速。
• 质量优势：在多项基准测试（如常识推理、阅读理解）上的表现超越了对比模型。

这充分证明了以真实延迟为第一性原理的硬件在环设计方法的有效性。

四、相关工作对比：MobileLLM-Flash 的独特定位

为阐明本工作的创新性，我们将其与相关研究进行对比，如表1所示。

表 1：方法论对比。MobileLLM-Flash 在优化目标、搜索空间和部署友好性上与相关工作存在核心差异。

对比可知：

• LFM2：虽针对边缘设备优化，但其搜索范围有限，未进行架构与注意力模式的统一联合搜索。其采用的 Conv1d 注意力在移动端小批次、短序列场景下可能存在性能瓶颈。
• Jet-Nemotron/Nemotron-Flash：这类工作侧重于服务器端 GPU 优化，以 FLOPs 或参数效率为目标，而非真实移动端延迟。其依赖的某些算子可能缺乏移动端运行时支持。

MobileLLM-Flash 的独特定位在于，它将“在真实硬件上实现最低延迟”这一目标贯穿于模型设计全流程，从搜索空间定义到优化评估均围绕移动端实际约束展开，从而产生了真正面向工业级部署、开箱即用的高效模型。

结论与展望

MobileLLM-Flash 不仅是一个模型系列，更代表了一种设计范式的转变。它证明了：

1. 延迟是第一原则：在端侧，真实可测的延迟是比 FLOPs 或参数量更核心的优化目标。采用“硬件在环”方法，让模型适应硬件，是设计高效模型的关键。
2. 搜索是强大工具：通过结构化的剪枝与两阶段贝叶斯优化，可以在巨大的设计空间中高效探索出符合真实约束的最优解，避免手动设计的偏差。
3. 简单算子成就高效：不一定需要复杂新颖的注意力机制。合理布局全局注意力与跳跃注意力等标准算子，在移动端即可实现显著的加速效果。

这对 AI 基础设施从业者的启示是：构建下一代端侧 AI 应用，需要将模型设计与运行时系统更紧密地结合。这意味着，优秀的工程师不仅需要理解模型架构，还需深入了解硬件、操作系统和编译器，从而让 AI 模型真正从研究走向广泛的现实应用。

未来的挑战依然存在。随着模型能力的增强和上下文长度的进一步增加，如何持续优化内存带宽和计算效率，以及如何处理更复杂的多模态数据，都是需要持续探索的课题。但 MobileLLM-Flash 无疑指明了一个关键方向：以真实硬件延迟为第一性原理进行设计，让端侧 AI 真正落地，这是实现规模化应用的必经之路。

关注“鲸栖”小程序，掌握最新AI资讯