揭秘AI推理与训练的物理铁律：从批量大小到MoE布局，重塑你对大模型成本的认知

一、批量大小：AI 推理成本与延迟的核心杠杆

当我们谈论 AI 时，往往聚焦于模型的能力、参数规模和应用场景，却极少追问那些决定 AI 本质的底层物理约束：

• 为什么 Claude 的快速模式价格贵 6 倍，速度却仅快 2.5 倍？
• 为什么 GPT-4 发布后，模型规模的增长突然踩了刹车？
• 为什么长上下文的 API 定价会直接翻倍？
• 为什么 Ilya Sutskever 会直言“流水线并行并不明智”？

为了深入解答这些问题，我们邀请到了前 Google TPU 架构师、现 AI 芯片初创公司 MatX 的 CEO Reiner Pope。他通过一场长达两个多小时的黑板讲座，从第一性原理出发，彻底拆解了 Transformer 模型在计算、内存和通信层面的本质。这场讲座没有华丽的 PPT，只有公式、图表和硬核推导，却揭示了 AI 行业最核心的商业与技术秘密。

• Reiner Pope – The math behind how LLMs are trained and served
• http://dwarkesh.com/p/reiner-pope
• 8000 字，阅读 40 分钟，播客 26 分钟

通过 Reiner 的分析，你会发现：AI 的发展不仅受算法和数据的驱动，更受物理世界的铁律约束。从 GPU 的内存带宽到机架的线缆密度，从批量大小的经济学到密码学的趋同进化，这些看似无关的因素，共同塑造了今天 AI 的面貌，也决定了它未来的走向。

本文目录

• 一、批量大小：AI 推理成本与延迟的核心杠杆
  • 1.1 为什么有“快速模式”和“慢速模式”？
  • 1.2 屋顶线模型：计算与内存的永恒博弈
  • 1.3 成本曲线的秘密：批量越大越便宜
  • 1.4 最优批量大小的推导：300× 稀疏度法则
• 二、MoE 模型的物理布局：一个机架就是一个专家层
  • 2.1 专家并行：把不同专家放在不同 GPU 上
  • 2.2 全对全通信：MoE 的甜蜜点与瓶颈
  • 2.3 为什么一个机架是 MoE 的天然边界？
  • 2.4 线缆密度：被物理世界限制的 AI 规模
• 三、流水线并行：Ilya 为什么说“这不明智”？
  • 3.1 流水线并行的基本原理：把层放在不同机架
  • 3.2 训练 vs 推理：流水线的不同命运
  • 3.3 致命陷阱：KV 缓存无法被流水线分摊
  • 3.4 规模的真相：带宽比容量更重要
• 四、RL 的颠覆：模型可能被过度训练 100 倍
  • 4.1 Chinchilla 缩放定律的局限性
  • 4.2 总成本最小化：训练、RL、推理的三分天下
  • 4.3 第一性原理推导：100 倍过度训练的由来
  • 4.4 这对 AI 未来意味着什么？
• 五、从 API 价格反推：长上下文的真实成本
  • 5.1 Gemini 定价泄露的秘密：200K 是成本拐点
  • 5.2 预填充 vs 解码：为什么输出比输入贵 5 倍？
  • 5.3 上下文缓存的经济学：HBM、DDR 还是机械硬盘？
  • 5.4 百万级上下文的真正障碍：内存墙
• 六、趋同进化：神经网络与密码学的惊人相似
  • 6.1 相同的核心目标：彻底混合信息
  • 6.2 相同的架构模式：线性+非线性的重复堆叠
  • 6.3 相反的优化目标：结构提取 vs 随机化
  • 6.4 交叉启发：从 Feistel 密码到可逆神经网络
• 结语
• 📌 核心 Takeaways

1.1 为什么有“快速模式”和“慢速模式”？

几乎所有主流 AI 服务商都提供了不同速度的服务选项：
* Claude 的 Fast Mode 比普通模式贵 6 倍，速度快 2.5 倍；
* Cursor 的 Turbo 模式价格更高，响应更快。

很多人以为这仅仅是服务商的定价策略，但 Reiner 指出，这背后是 AI 推理最基本的物理规律：批量大小决定了成本与延迟之间的权衡。

“如果你不批量处理用户请求，成本会比批量处理高出 1000 倍，”Reiner 在黑板上写下第一个公式，“这就是为什么你可以花钱买速度，也可以花时间省钱。”

为了解释这一点，Reiner 引入了两个核心分析工具：屋顶线模型和 Transformer 推理的两个时间组成部分——权重操作时间和上下文操作时间。

1.2 屋顶线模型：计算与内存的永恒博弈

屋顶线模型是分析计算机系统性能的经典方法，它考虑两个核心资源：计算能力（FLOPS，每秒浮点运算次数）和内存带宽（每秒能从内存读取多少字节）。任何程序的性能都不会超过这两个资源中的瓶颈。

对于 Transformer 推理来说，时间主要由两部分组成：

• 计算时间：执行权重矩阵乘法的时间，与批量大小成正比。
• 内存时间：从内存读取权重和 KV 缓存的时间，由固定的权重读取时间和与批量大小成正比的 KV 缓存读取时间组成。

计算时间 = (批量大小 × 活跃参数数量) / 硬件计算吞吐量
内存时间 = (总参数数量 / 内存带宽) + (批量大小 × 上下文长度 × 每token字节数 / 内存带宽)
总时间 = max(计算时间, 内存时间)

Reiner 特别解释了 KV 缓存的概念：在自回归推理中，模型每次生成一个新 token 时，都需要关注之前所有 token 的内部表示。为了避免重复计算，这些表示会被缓存起来，称为 KV 缓存。KV 缓存的大小与批量大小和上下文长度成正比，是长上下文推理的主要内存开销。

1.3 成本曲线的秘密：批量越大越便宜

如果我们把时间除以批量大小，得到每 token 的成本，就会看到一个非常有趣的曲线：
* 当批量很小时，权重读取时间占主导，每 token 成本极高，几乎与批量大小成反比。
* 当批量增大到一定程度，权重读取时间被分摊，KV 缓存读取时间和计算时间开始占主导。
* 当批量足够大时，计算时间成为瓶颈，每 token 成本趋于稳定，达到理论最小值。

“这就是批量处理如此关键的原因，”Reiner 指着曲线的最低点解释道，“当批量大小为 1 时，每一个 token 都需要承担读取整个模型权重的开销；而当批量规模提升至 2000 时，这笔开销被 2000 个 token 共同分摊，几乎可以忽略不计。”

这也揭示了“慢速模式”为何难以大幅降价：KV 缓存是每个用户独占的资源，无法像模型权重那样通过批量操作来摊薄成本。即便用户愿意接受更长的等待时间，KV 缓存的开销也难以显著降低。

1.4 最优批量大小的推导：300× 稀疏度法则

那么，究竟多大的批量大小才能实现最高效率？Reiner 给出了一个令人惊叹的简洁公式：

最优批量大小 = 稀疏度 × 300

其中，稀疏度指的是模型总参数数量与活跃参数数量的比值。以 DeepSeek V3 为例，其总参数为 7000 亿，活跃参数为 370 亿，稀疏度约为 19，因此其最优批量大小大约为 5700。

“这个 300 是一个硬件常数，”Reiner 解释道，“它代表了 GPU 计算吞吐量与内存带宽的比值，单位是每字节的 FLOPs。从 A100 到 H100，再到 B100，这个比值始终稳定在 300 左右，非常恒定。”

这意味着，对于任何模型、任何硬件，最优批量大小仅与稀疏度相关，而与模型本身的规模无关。这是一个极具影响力的结论，它解释了为何即便是最庞大的模型，其最优批量大小也仅停留在数千级别。

在实际部署中，服务商通常会选择比最优值大 2 到 3 倍的批量，以预留一定的余量。这意味着，一个典型的前沿模型大约每 20 毫秒处理一个批次，每个批次包含约 2000 个序列。

“你可以把这想象成一列每 20 分钟发一班的火车，”Reiner 打了个比方，“不管车厢是否满员，火车都会准时出发。如果你的请求恰好赶上火车刚刚离站，你就得等下一班，这就是排队延迟的来源。”

unsetunset二、MoE 模型的物理布局：一个机架就是一个专家层unsetunset

2.1 专家并行：将不同专家分配到不同 GPU

随着混合专家（MoE）模型的兴起，如何在 GPU 集群上高效部署它们成为关键问题。MoE 模型由多个专家组成，每个 token 仅会被路由到其中少数几个专家进行处理。

Reiner 在黑板上勾勒出一个典型的 MoE 层结构：输入 token 经过路由器，被分发到不同的专家，每个专家都是一个独立的 MLP，处理完毕后，再将结果汇总。

“部署 MoE 的最佳方式是专家并行，”Reiner 指出，“也就是将不同的专家分配到不同的 GPU 上。”

例如，DeepSeek V3 拥有 256 个专家。如果将其部署在一个配备 72 个 GPU 的 Blackwell 机架上，我们可以使用其中的 64 个 GPU，每个 GPU 上放置 4 个专家。这样一来，当 token 被路由到某个专家时，只需与对应的 GPU 进行通信。

2.2 全对全通信：MoE 的甜蜜点与瓶颈

专家并行的通信模式是全对全通信：每个 GPU 都可能向集群中任意其他 GPU 发送或接收 token。

“这是一种非常特殊的通信模式，”Reiner 强调道，“它要求所有 GPU 之间都具备高速、平等的连接能力。”

幸运的是，现代 GPU 机架的设计恰好满足了这一需求。在 Nvidia 的 Blackwell 机架中，全部 72 个 GPU 都通过 NVSwitch 互联，任意两个 GPU 之间的通信仅需两跳，且带宽相同。

“一个 Blackwell 机架简直就是为 MoE 量身定制的，”Reiner 表示，“它的全对全通信带宽完美匹配了 MoE 的需求。”

然而，当我们试图将 MoE 层扩展到多个机架时，问题便接踵而至。机架间的通信带宽通常比机架内部低 8 倍左右。如果一个 MoE 层分布在两个机架上，那么平均有一半的 token 需要跨机架通信，这将构成严重的性能瓶颈。

2.3 为何一个机架是 MoE 的天然边界？

“这就是为什么一个机架是 MoE 层的天然边界，”Reiner 总结道，“你几乎不会看到任何一个 MoE 层被部署到多个机架上。”

这一结论对 AI 模型的规模有着深远影响。一个 MoE 层的总参数量不能超过单个机架的内存容量。对于 Blackwell 机架而言，这个容量大约是 20TB，对应约 10 万亿参数（假设使用 FP4 精度）。

这也解释了为何 Google 的 Gemini 模型在早期能取得领先：Google 的 TPU 集群很早就拥有了规模庞大的 scale-up 域（单个通信域内的芯片数量），从而能够支撑起更大的 MoE 层。

2.4 线缆密度：物理世界对 AI 规模的限制

那么，我们为何不把更多 GPU 塞进一个机架，或者构建更大的 scale-up 域呢？Reiner 给出了一个令人意外的答案：物理空间和线缆密度。

“现代机架已经被推到了物理极限，”Reiner 解释道，“你必须在有限的空间里塞进尽可能多的 GPU、电源、冷却系统和线缆。而线缆密度是最大的瓶颈之一。”

每个 GPU 都需要大量的高速线缆连接到交换机。当 GPU 数量增加时，线缆数量会呈平方级增长。这些线缆不仅占用空间，还有最小弯曲半径的要求，不能随意弯折。

“从 Hopper 的 8 个 GPU 发展到 Blackwell 的 72 个 GPU，主要是产品形态的变革，从托盘式变成了机架式，”Reiner 说，“而即将到来的 Rubin 架构，将把 scale-up 域扩展到 500 多个 GPU，这需要在机架设计上取得重大突破，以解决线缆密度、供电和冷却的难题。”

unsetunset三、流水线并行：Ilya 为何说“这不明智”？unsetunset

3.1 流水线并行的基本原理：将层分布在不同机架

既然 MoE 层不能跨机架，那么我们如何部署一个比单个机架内存还要大的模型呢？答案是流水线并行。

流水线并行的思想非常直观：将模型的不同层部署在不同的机架上。例如，一个拥有 100 层的模型，可以将前 25 层放在第一个机架，中间 25 层放在第二个机架，以此类推。

当一个请求进入系统时，它首先在第一个机架处理前 25 层，然后将结果发送到第二个机架处理接下来的 25 层，如此往复，直到最后一个机架生成最终输出。

“这看起来非常直观，”Reiner 说，“但它有一个致命的缺陷：流水线气泡。”

3.2 训练 vs 推理：流水线的不同命运

在训练中，流水线并行会产生明显的气泡。为了避免气泡，你需要将批次拆分成多个微批次，让流水线保持满负荷运行。但这会增加训练的复杂度，并可能影响收敛速度。

然而，在推理场景中，流水线气泡几乎不存在。“在推理时，你可以连续不断地发送请求，”Reiner 解释道，“只要请求足够多，流水线就会一直保持满负荷，不会有任何气泡。”

更重要的是，流水线并行对推理的延迟和成本几乎没有影响。“如果把一个 100 层的模型放在一个机架上，或者分散到 4 个机架，每机架 25 层，总延迟是一样的，”Reiner 说，“因为你只是将工作从一个芯片转移到了另一个芯片，总工作量并未改变。”

3.3 致命陷阱：KV 缓存无法被流水线分摊

既然流水线并行这么好，为何 Ilya Sutskever 会说“流水线并行并不明智”呢？Reiner 揭示了其中的关键：流水线并行无法分摊 KV 缓存的内存成本。

让我们做一个简单的计算：假设我们有一个 4 阶段的流水线，每个阶段有 P 个 GPU。为了保持流水线满负荷，我们需要同时有 4 个微批次在运行。

这意味着，系统中同时存在的序列数量是单个阶段的 4 倍。而 KV 缓存是每个序列独有的，因此总的 KV 缓存内存需求也变成了 4 倍。

“当你增加流水线阶段的数量时，权重的内存需求会线性下降，但 KV 缓存的内存需求保持不变，”Reiner 在黑板上写下公式，“最终，KV 缓存会成为主导的内存开销，流水线并行带来的权重内存节省变得微不足道。”

这就是 Ilya 观点的核心：在 KV 缓存主导内存开销的今天，流水线并行带来的收益非常有限，却引入了巨大的系统复杂度和延迟开销（跨机架通信的延迟）。

3.4 规模的真相：带宽比容量更重要

许多人误以为扩大 scale-up 域旨在提升内存容量，“Reiner 指出，其核心优势实则在于增加内存带宽。”

当模型部署在更大的 scale-up 域中，你可以从更多 GPU 并行读取权重，大幅缩短权重加载时间。举例来说，一个配备 72 个 GPU 的 Blackwell 机架，其总内存带宽是单 GPU 的 72 倍，这意味着权重读取时间将缩减至原来的 1/72。

“这正是更大 scale-up 域的真正价值所在，”Reiner 强调，“它让你能以更低的延迟运行更大、更稀疏的模型。而流水线并行无法提供这种带宽增益，因为每个阶段只能利用该阶段内的 GPU 带宽。”

四、RL 的颠覆：模型可能被过度训练 100 倍

4.1 Chinchilla 缩放定律的局限性

2022 年，DeepMind 提出了著名的 Chinchilla 缩放定律，该定律指出，对于给定的计算预算，最优的模型大小与训练 token 数量应满足以下关系：

模型参数数量 ≈ 训练 token 数量 / 20

这意味着，一个 100B 参数的模型，理论上应在 2T token 上训练，才能达到计算最优。

然而，Reiner 指出，Chinchilla 定律仅考虑了预训练的计算成本，完全忽略了后续 RL 微调与推理成本。在当今的 AI 开发流程中，RL 微调已是不可或缺的环节，而推理成本则是模型上线后的主要开销。

“一旦你把 RL 和推理成本纳入考量，最优的训练策略将发生根本性变化，”Reiner 说道。

4.2 总成本最小化：训练、RL、推理的三分天下

Reiner 提出了一个简单却极具洞察力的启发式原则：当你需要最小化两个成本的总和时，最优解通常出现在两者相等的地方。

对于 AI 模型而言，总成本包含三部分：预训练成本、RL 微调成本和推理成本。

• 预训练成本 ≈ 6 × 活跃参数数量 × 预训练 token 数量
• RL 微调成本 ≈ (2~6) × 活跃参数数量 × RL token 数量
• 推理成本 ≈ 2 × 活跃参数数量 × 推理 token 数量

“如果我们想最小化总成本，那么这三部分应该大致相等，”Reiner 推测道，“每个部分大约占总成本的三分之一。”

这一假设虽然大胆，却得到了现实数据的支撑。Reiner 以 GPT-4 为例进行了估算：

• 假设 GPT-4 的活跃参数约为 100B
• 假设 GPT-4 在部署期间总共处理了约 200T 推理 token
• 那么，预训练和 RL 微调也应该各消耗约 200T token

4.3 第一性原理推导：100 倍过度训练的由来

根据 Chinchilla 定律，一个 100B 参数的模型仅需 2T token 即可达到计算最优。但基于上述估算，GPT-4 实际训练了约 200T token，是 Chinchilla 最优值的 100 倍。

“这就是我所说的 100 倍过度训练，”Reiner 解释道，“这并非浪费，而是为了最小化总成本而做出的理性选择。”

为何会这样？因为过度训练能让模型在相同参数数量下达到更高品质，或在相同品质下使用更小的模型。而更小的模型，意味着更低的 RL 和推理成本。

“如果你的模型非常受欢迎，被数十亿用户使用，那么在预训练上多花 10 倍的成本，让模型缩小一半，从而节省一半的推理成本，这是非常划算的，”Reiner 分析道。

RL 的引入进一步放大了这一效应。RL 微调需要大量推理来生成轨迹，而更小的模型能显著降低 RL 成本。

4.4 这对 AI 未来意味着什么？

100 倍过度训练的结论，对 AI 的未来影响深远：

• 模型规模的增长可能放缓，而训练 token 数量将持续快速增长
• 数据的重要性将进一步提升，高质量数据将成为最稀缺的资源
• 推理效率将成为模型设计的首要考量，稀疏模型与高效架构将更受欢迎
• 模型的更新周期将缩短，因为过度训练的模型可以更快地迭代

“我们正在从‘模型规模竞赛’转向‘训练效率与推理效率竞赛’，”Reiner 总结道，“未来的赢家，不一定是拥有最大模型的公司，而是能以最低成本训练和部署高质量模型的公司。”

五、从 API 价格反推：长上下文的真实成本

5.1 Gemini 定价泄露的秘密：200K 是成本拐点

AI 服务商的 API 定价看似随意，实则严格反映了其真实成本。Reiner 以 Gemini 2.5 Pro 的定价为例进行了剖析：

• 输入价格：≤200K token 时，$2.50/百万 token
• 输出价格：≤200K token 时，$15.00/百万 token

“为什么 200K 是一个价格拐点？”Reiner 问道，“因为这正是计算与内存带宽的平衡点。”

当上下文长度小于 200K 时，计算时间占主导，成本相对稳定。当上下文长度超过 200K 时，KV 缓存的内存读取时间超过计算时间，成为新瓶颈，成本开始线性增长。

通过简单的代数推导，Reiner 从这个价格拐点反推出 Gemini 模型每 token 的 KV 缓存大小约为 2KB。“这与我们对现代 Transformer 模型的了解一致，”Reiner 表示，“它可能使用了 8 个 KV 头，每个头维度为 128，正好是每 token 2KB。”

5.2 预填充 vs 解码：为什么输出比输入贵 5 倍？

另一个有趣的定价现象是，输出 token 的价格通常是输入 token 的 3-5 倍。这是因为输入处理（预填充）与输出生成（解码）的计算模式完全不同。

• 预填充：一次性处理所有输入 token，能充分利用 GPU 的并行计算能力，计算效率很高。
• 解码：逐个生成输出 token，每个 token 都需要读取整个模型的权重，内存带宽成为瓶颈，计算效率很低。

“在解码阶段，GPU 的计算利用率通常只有预填充阶段的 1/5 左右，”Reiner 解释道，“这就是为什么输出 token 要贵 5 倍。”

这也解释了为何长上下文的预填充价格相对便宜，而解码价格却大幅上涨。预填充是计算密集型，解码是内存带宽密集型，长上下文会进一步加剧解码的内存带宽压力。

5.3 上下文缓存的经济学：HBM、DDR 还是机械硬盘？

为降低长上下文成本，许多服务商推出了上下文缓存功能。若用户的请求包含与之前请求相同的上下文，服务商可重用之前计算好的 KV 缓存，无需重新计算。

Gemini 的上下文缓存定价极具启发性：

• 缓存读取价格：$0.3125/百万 token（≤200K）
• 缓存存储价格：$4.50/百万 token/小时

“从这些价格中，我们可以反推出服务商使用的存储介质，”Reiner 表示。

存储介质的选择取决于两个成本：存储成本（每字节每秒）和读取成本（每字节）。不同介质特性各异：

• HBM：速度最快，存储成本最高，读取成本最低
• DDR：速度中等，存储成本中等，读取成本中等
• 闪存：速度较慢，存储成本较低，读取成本较高
• 机械硬盘：速度最慢，存储成本最低，读取成本最高

“根据 Gemini 的定价，5 分钟的缓存可能存储在闪存中，而 1 小时的缓存可能存储在机械硬盘中，”Reiner 推测道，“这听起来很疯狂，但机械硬盘的存储成本确实比 HBM 低几个数量级。对于不常访问的缓存来说，这是一个经济的选择。”

5.4 百万级上下文的真正障碍：内存墙

许多人期待未来的模型拥有百万级甚至亿级的上下文窗口，但 Reiner 对此持谨慎态度。

“长上下文的主要瓶颈并非计算，而是内存带宽与内存容量，”Reiner 指出，“KV 缓存的大小与上下文长度成正比。当上下文长度达到百万级时，KV 缓存会变得极其庞大。”

例如，一段包含100万token的上下文，每个token对应2KB的KV缓存，那么总的KV缓存大小便会达到2GB。若同时处理100个这样的序列，则需要200GB的内存空间，这已逼近单块GPU的HBM容量。

更为严峻的是，读取如此庞大的KV缓存会消耗海量的内存带宽。Reiner解释道：“当上下文长度攀升至百万级别时，几乎全部的内存带宽都会被用于读取KV缓存，再无余力去读取权重，这会导致性能急剧下降。”

稀疏注意力能在一定程度上缓解此问题，但它并非万能。“如果稀疏度过高，模型就无法关注到关键信息，导致质量下滑，”Reiner指出，“从目前来看，200K到1M是长上下文场景下的经济合理区间。”

六、趋同进化：神经网络与密码学的惊人相似

6.1 相同的核心目标：彻底混合信息

在讲座尾声，Reiner分享了一个极具新意的观点：神经网络与密码学算法在架构上存在惊人的相似性，这源于趋同进化。

“神经网络和密码学算法的根本目标是一致的，”Reiner表示，“它们都需要将输入信息彻底混合，使得每个输出都依赖于所有输入。”

• 对于密码学算法（如哈希函数和加密算法），混合信息是为了让输出看起来完全随机，让人无法从输出反推出输入。
• 对于神经网络，混合信息则是为了让模型能够捕捉输入中不同部分之间的复杂关系，从而做出精准的预测。

6.2 相同的架构模式：线性与非线性交替堆叠

为了实现彻底的信息混合，神经网络和密码学算法采用了相同的架构模式：线性变换与非线性变换的重复堆叠。

• 在Transformer中，每一层都由注意力机制（跨位置混合）和MLP（位置内混合）构成，本质上是线性变换后紧跟非线性变换。
• 在AES加密算法中，每一轮由ShiftRows（行混合）、MixColumns（列混合）和S-box（非线性变换）组成。
• 在SHA-3哈希函数中，每一轮由θ、ρ、π、χ和ι五个步骤组成，同样是线性和非线性变换的组合。

“更有趣的是，两者都采用了分块混合的策略，”Reiner补充道，“先在小范围内进行混合，再扩展到更大范围，这样既能保证混合效果，又能提升计算效率和并行性。”

6.3 相反的优化目标：结构提取 vs 随机化

尽管架构相似，但神经网络和密码学算法的优化目标却完全相反：

• 密码学算法的目标是最大化输出的随机性和不可预测性，防止任何形式的逆向工程。
• 神经网络的目标是从输入中提取有用的结构和模式，使输出具备可解释性和预测性。

这种相反的目标导致了一系列关键的设计差异：

• 神经网络使用残差连接和LayerNorm来维持梯度的稳定性，便于训练。
• 密码学算法则避免使用残差连接，因为这会削弱混合效果，使其容易遭受差分密码分析攻击。
• 神经网络依赖浮点数运算，以便进行梯度下降。
• 密码学算法则采用整数运算，以避免数值精度问题。

6.4 交叉启发：从Feistel密码到可逆神经网络

尽管目标不同，但两个领域之间已出现交叉启发。最著名的例子便是Feistel网络在神经网络中的应用。

Feistel网络是密码学中的经典可逆结构，能将任何非可逆函数转换为可逆函数。2017年，研究人员将Feistel网络引入神经网络，提出了可逆残差网络（RevNets）。

“RevNets的核心思想是让整个神经网络可逆，”Reiner解释道，“这样一来，在训练时无需存储中间激活，只需在反向传播时重新计算它们，从而节省大量内存。”

尽管RevNets在当今的大模型训练中并不常见，但它展示了跨领域借鉴的巨大潜力。“我相信未来还会有更多这样的交叉创新，”Reiner表示，“密码学领域数十年的研究成果，可能会为AI架构的创新提供全新思路。”

结语

这场长达两个多小时的讲座，让我们洞悉了AI背后那些不为人知的底层逻辑。从批量大小的经济学到MoE的物理布局，从流水线并行的陷阱到RL对训练策略的颠覆，从API定价泄露的技术秘密到神经网络与密码学的趋同进化，每一个结论都源自第一性原理的推导，每一个公式都揭示了AI行业的本质。

Reiner的分析表明，AI并非魔法，而是一门建立在物理世界之上的工程技术。其发展不仅受限于算法和数据，更受到GPU内存带宽、机架线缆密度、电力与冷却等物理因素的约束。理解这些约束，才能真正理解AI的现在与未来。

在这个AI飞速发展的时代，我们很容易被炫目的应用和惊人的参数所迷惑，却忽略了决定AI本质的底层问题。而正是这些底层问题，构成了真正的技术壁垒和商业机遇。

最后，留给大家一个开放性问题：如果内存墙是AI发展的主要瓶颈，那么未来的AI硬件和架构将走向何方？是继续扩大HBM的容量和带宽，还是探索全新的计算范式，例如存内计算或神经形态计算？这个问题的答案，将决定未来十年AI的面貌。

核心Takeaways

1. 批量大小是AI推理成本与延迟的核心杠杆，其最优值约为300×稀疏度，与模型规模无关。
2. MoE模型受限于全对全通信，一个机架是MoE层的天然部署边界，而线缆密度是限制scale-up域大小的主要物理因素。
3. 流水线并行无法分摊KV缓存成本，在KV缓存主导内存开销的当下，其收益十分有限，这也是Ilya认为“流水线并行不明智”的根本原因。
4. 由于RL和推理成本的引入，前沿模型可能被过度训练100倍以上，远超Chinchilla最优值，这是为了最小化总成本的理性选择。
5. 长上下文的主要瓶颈是内存带宽而非计算，200K是当前的成本拐点，百万级上下文短期内难以普及，经济合理区间在200K到1M之间。