Sol-RL：NVIDIA联合团队突破扩散模型强化学习算力瓶颈，FP4探索+BF16训练实现高效对齐

关键词：扩散模型强化学习（Diffusion RL）、NVFP4 量化、两阶段解耦训练、算法-硬件协同设计、GRPO、Blackwell 架构

在文本到图像扩散模型的后训练对齐领域，GRPO 等强化学习方法虽效果显著，却深陷“规模化采样”带来的巨大算力消耗困境。

NVIDIA、香港大学及 MIT 联合团队提出的 Sol-RL 框架，并未采用对模型进行直接粗暴量化的传统路径，而是洞察到在强化学习流程中，探索（Exploration）与优化（Optimization）阶段对数值精度的容忍度存在本质差异。

一句 “Increasing the rollout group size yields pronounced performance improvements, indicating substantial room for further alignment gains”，既揭示了通过扩大采样规模以提升性能的潜力，也点明了随之而来的算力桎梏。

• 论文标题：FP4 Explore, BF16 Train: Diffusion Reinforcement Learning via Efficient Rollout Scaling
• 论文链接：https://www.alphaxiv.org/abs/2604.06916
• 开源代码：https://github.com/NVlabs/Sana/
• 项目主页：https://nvlabs.github.io/Sana/Sol-RL/

现代生成式 AI 的发展重点已从预训练的规模定律，悄然转向后训练对齐。在扩散模型领域，基于强化学习的对齐方法（如 DDPO、GRPO 及其变体）已证明，扩大采样规模能够稳定且显著地提升模型的生成质量与人类偏好契合度。

然而，这种性能红利背后是高昂的算力代价。对于 FLUX.1 等数十亿参数的大型模型，单次迭代生成大量候选样本的算力开销令多数研究者望而却步。作者精准指出了核心矛盾：在传统流程中，仅有少数高质量和低质量的对比样本被用于梯度更新，绝大多数生成样本在计算奖励后即被丢弃，这揭示了巨大的算法冗余。

面对这一困境，直觉的解决方案是利用低精度量化技术加速推理。但论文指出，简单地用 FP4 量化样本替代 BF16 样本进行策略优化，会引发“非策略差距”与像素级语义畸变，最终导致训练崩溃。

Sol-RL 的核心洞见在于 “解耦” 。它并未试图修复 FP4 的精度损失，而是重新定义了 FP4 在强化学习流程中的角色——将其从“优化目标”降级为 “探索过滤器”。

图 1：Sol-RL 实现高效且高保真的文生图对齐。左侧为经本方法微调的 FLUX.1 和 SANA 生成的高质量图像；右侧为 ImageReward 训练曲线，证明 Sol-RL 实现最高 4.64 倍的实际时间加速以达到等效奖励水平，且最终收敛至更高的对齐上限。

这一设计哲学的转变，使得系统能够充分利用 NVIDIA Blackwell 架构 NVFP4 引擎的 4 倍理论算力峰值，在几乎不损失最终性能的前提下，实现了显著的训练加速。

本文将深入解析 Sol-RL 如何凭借“两阶段解耦”的设计，为扩散模型的后训练对齐开辟一条算力高效的新路径。

本文目录

• 一、算力枷锁与破局思路：为何简单量化在 Diffusion RL 中失灵？
  • 1.1 规模定律的诱惑与采样瓶颈
  • 1.2 量化直接替换的陷阱：非策略偏差与像素级失真
  • 1.3 Sol-RL 的解耦哲学：将 FP4 从“优化目标”降级为“探索过滤器”
• 二、技术详解：Sol-RL 两阶段解耦框架
  • 2.1 阶段一：基于 NVFP4 的高通量探索与种子筛选
  • 2.2 阶段二：BF16 高保真重建与策略优化
  • 2.3 理论保障：为何 FP4 排序是可信的？
• 三、实验验证：从 FLUX 到 SANA 的效能实证
  • 3.1 端到端性能：收敛速度与最终性能的双重提升
  • 3.2 算力效率分析：采样与迭代的加速比
  • 3.3 消融实验：探索规模与步数的影响
  • 3.4 生成质量分析：语义与细节的保持
• 四、相关工作与比较
  • 4.1 扩散模型强化学习的演进
  • 4.2 低比特推理与强化学习的结合尝试
  • 4.3 Sol-RL 的差异化优势
• 五、结论与展望
  • 5.1 总结
  • 5.2 讨论：潜在成本与局限
  • 5.3 未来工作方向

一、算力枷锁与破局思路：为何简单量化在 Diffusion RL 中失灵？

规模化采样虽能带来更优的梯度信号，却将 Diffusion RL 的训练瓶颈从反向传播转移到了海量前向生成。简单引入 FP4 量化非但无法解决问题，反而会因扩散模型独特的去噪轨迹与优化目标的严苛性，引入训练不稳定与性能下降的新问题。Sol-RL 的诞生，源于对“效率”与“保真度”这一根本矛盾的系统性解构。

2. 剖析瓶颈：为何直接量化行不通

Sol-RL 的核心创新源于一个深刻的洞察：在扩散模型强化学习中，探索（生成候选样本）和优化（利用样本训练）对数据精度的需求截然不同。本节通过三个维度的实验分析，揭示了直接使用低精度（FP4）样本进行训练所面临的困境，并论证了将两者解耦的必要性。

2.1 探索的规模效应与算力瓶颈

强化学习在扩散模型对齐中的有效性，很大程度上依赖于优势函数估计的准确性。以组内相对奖励（GRPO）方法为例，其核心在于利用同一提示词下生成的一组样本，通过组内奖励的排序来构建优势估计，从而避免了传统方法中训练额外价值网络（Critic）的复杂性和不稳定性。

理论上，扩大探索池（即每组生成的样本数量 N）能带来显著收益：更大的样本池更容易捕获到奖励极高或极低的“高对比度”样本，从而提供更清晰、更稳健的优势信号，驱动策略更有效地更新。实验数据也证实了这一点：仅将探索池大小从 24 提升至 96，模型的 HPSv2 对齐指标就获得了可观的提升。

然而，这种“规模定律”面临一个严峻的现实挑战：计算成本。

图 3a：不同精度下采样与训练的时间分解。横轴“K-in-N (P)”表示在精度 P 下，从 N 个生成样本中选取 K 个用于训练。在 BF16 高精度下，当 N 增大时（如 24-in-96），前向采样（rollout）耗时远超反向传播，成为迭代效率的主要瓶颈。

如图 3a 所示，在传统的高精度（BF16）设置下进行大规模探索时，模型前向生成样本的时间开销占据了绝大部分计算周期。这种计算密集型的探索过程成为了制约训练效率的“阿克琉斯之踵”。

2.2 量化陷阱：精度损失引发训练崩溃

一个直观的解决方案是：利用低精度计算（如 NVIDIA 的 NVFP4 格式）来加速前向采样过程。NVFP4 通过块级微缩放技术，能在支持硬件上提供数倍于 BF16 的理论计算吞吐量。

但实验给出了一个明确的警告：直接将低精度生成的样本用于策略优化，会导致训练过程严重不稳定甚至完全失败。

图 3b：直接使用 FP4 精度样本进行训练导致的性能下降与不稳定。对比 BF16 基线，FP4 直接训练（FP4 Direct Training）的奖励曲线剧烈震荡并崩溃。

如图 3b 所示，直接将 FP4 样本用于训练，模型性能会急剧恶化。这背后主要有两个原因：

1. 非策略偏差：强化学习，尤其是同策略（On-policy）算法，对训练数据的分布非常敏感。量化模型 π_FP4 的采样轨迹与原始高精度策略 π_BF16 的真实数据分布存在固有偏差。这种偏差在扩散模型多步去噪的累积过程中会被放大，导致用于梯度计算的数据严重偏离当前策略的真实表现，从而引发训练发散。
2. 目标函数污染：扩散模型的训练本质上是基于分数匹配的回归任务。FP4 采样引入的数值噪声和失真，相当于为回归目标 x_0 添加了噪声。强迫高精度模型去拟合一个被“污染”的低保真目标，无异于为其性能设置了不可逾越的上限。

2.3 关键洞察：FP4 胜任排序，而非生成

Sol-RL 的突破源于一个思路的转变：不强求 FP4 生成完美图像，而是探究FP4 是否足以可靠地判断不同生成结果的相对优劣。

答案是肯定的。研究团队发现，尽管 FP4 量化会导致像素级的细节失真（如图 6 所示），但它基本保留了图像的宏观语义布局和结构。在确定性采样模式下，生成结果的“骨架”主要由初始噪声种子决定。

图 3c：FP4 与 BF16 样本组内奖励排序一致性热力图。对角线上的高密度分布表明，使用 FP4 样本计算的奖励排名，与使用 BF16 黄金标准计算的排名高度一致。

图 3c 的热力图提供了决定性证据：虽然 FP4 样本的绝对奖励值可能不准确，但其在组内样本间的相对排名顺序与高精度 BF16 样本的排名高度一致。这意味着，FP4 可以作为一个高效且可靠的“星探”，从海量候选噪声种子中精准筛选出最有潜力（高奖励）和最差（低奖励）的种子。

核心结论：FP4 低精度计算适用于探索阶段的快速筛选与排序，但绝不能直接用于优化阶段的高质量数据生成。这一实验结论，为 Sol-RL 后续提出的“探索-优化”两阶段解耦框架提供了最根本的设计依据。

论文表2显示，当去噪步数过少时，由于语义布局尚未充分形成，会导致排序不准；而当步数达到一定阈值后，排序能力趋于饱和。这表明FP4量化的误差容忍度允许我们大幅削减采样步数，而不影响其相对排序这一核心功能。

2.2 阶段二：BF16高保真重建与策略优化

在筛选出Top-K和Bottom-K的种子索引后，流程切换至BF16精度：

1. 高保真重生成：将筛选出的种子输入原始的BF16精度模型，并以全精度步数（例如10步）重新求解ODE，生成高质量样本。
2. 梯度优化：仅针对这少量样本计算目标函数（如DiffusionNFT或GRPO Loss），执行反向传播以更新BF16模型权重。

这一阶段的精妙之处在于，它严格遵循了强化学习的On-policy原则。尽管筛选建议来源于量化模型，但最终用于计算损失函数的样本完全由当前最新的高精度策略生成。这从根本上杜绝了因量化推理导致的策略分布漂移，保证了梯度信号的准确性。

图2：Sol-RL两阶段强化学习流程图。通过将高吞吐的FP4探索与选择性的BF16高保真生成解耦，该框架在保持策略一致性的同时，相比全精度方法实现了显著的算力节省。

2.3 理论保障：为何FP4排序是可信的？

为支撑该框架的严谨性，论文从极端值理论视角提供了理论分析。将FP4推理视为对原始向量场的一个有界扰动。

根据Gronwall不等式，最终样本的累积误差存在上界。虽然量化误差会导致单点奖励的绝对误差，但对于依赖组内相对排序的GRPO等目标而言，情况有所不同。

对于规模为N的样本池，真实奖励的极差随N增长，而由FP4造成的排序扰动存在上限。理论分析表明，随着探索池规模N的增大，由规模效应带来的对比度增益将压倒固定的量化常数误差。这正是Sol-RL敢于大规模扩展FP4探索池的底气所在——规模越大，量化噪声对最终梯度方向的影响越微弱。

Sol-RL的形式化保障揭示了其反直觉的设计逻辑：在确定性采样与大规模筛选的语境下，极端值的信噪比会随探索规模扩大而提升，从而将FP4的固定偏差淹没在显著的偏好信号之中。

三、实战检验：从FLUX到SANA的效能实证

在FLUX.1、SD3.5-Large与SANA三大主流基座模型上的全面评测表明，Sol-RL并非针对特定模型的优化，而是具备普适性的扩散模型强化学习效能提升框架。

3.1 端到端性能：收敛速度与最终性能的双重提升

实验结果表明，Sol-RL在收敛速度和最终对齐性能上均具有压倒性优势。

图1：Sol-RL实现高效且高保真的文生图对齐。左侧为经本方法微调的模型生成的高质量图像；右侧训练曲线显示，Sol-RL能以最高4.64倍的实际时间加速达到等效奖励水平，并最终收敛至更高的性能上限。

图4：跨多种基础模型与对齐指标的对比。在相同的墙钟时间预算下，Sol-RL（绿色曲线）均一致性地超越基线方法（灰色曲线），实现了最高4.64倍的收敛加速。

在完全相同的GPU小时预算下，Sol-RL不仅收敛速度远超基线，且最终达到的奖励值也更高。这揭示了一个事实：受限于采样效率，纯高精度基线在固定算力下无法充分探索解空间，从而可能陷入局部最优。

• 加速比数据：在FLUX.1上达到4.64倍收敛加速；在SD3.5-Large上达到4.61倍。
• 最终性能：在FLUX.1的ImageReward指标上，Sol-RL得分显著领先。

表1：对齐性能的定量对比。在相同算力预算下，Sol-RL在所有评估指标上均取得最优结果。

3.2 算力拆解：采样加速与迭代提速

性能提升的根源在于算力支出的结构性优化。

表5：训练效率与加速比分析。Sol-RL框架显著降低了采样开销，在纯采样阶段实现了高达2.4倍的加速，在端到端训练中实现了1.6倍的加速。

• 以FLUX.1为例，暴力采样96张全精度图像耗时184秒，而Sol-RL的FP4探索加BF16重生成仅需79秒，采样阶段加速比达2.33倍。
• 考虑反向传播等开销后，单次迭代整体时间从274秒降至169秒，整体加速1.62倍。

3.3 消融实验：探索规模与步数的边际效用

• 探索池规模N的影响：N从24增至96，性能单调递增。这证实了只要排序可靠，扩大FP4探索池就能持续带来收益，且无需支付高昂的全精度采样成本。
  
  表3：探索池大小N的影响。更大的候选池有助于发现更高对比度的样本，持续提升对齐性能。
• 探索步数的饱和点：研究表明，6步是性价比甜点。继续增加步数对提升“排序”功能已无增益，只会增加算力浪费。
  
  表2：FP4探索去噪步数的敏感性分析。步数过少（如2步）时排名精度不足；6步时性能达到峰值。

3.4 定性分析：生成质量的跃迁

（此部分为原文节选结尾，无具体描述，故保留小节标题。）

图 5 与附录图 7-9 的视觉对比揭示了单纯数值指标无法传达的信息。

图 5：Sol-RL 优化前后的视觉对比。与未经微调的 SANA 基础模型（顶行）相比，经 Sol-RL 多奖励优化的模型（底行）在各类提示词下，复杂细节渲染与语义对齐均实现显著提升。

视觉对比直观呈现了 Sol-RL 带来的生成质量增益。基础模型生成的图像存在细节模糊、语义偏差等问题，而优化后的图像纹理更细腻，图文匹配度更高。多奖励联合优化兼顾了视觉美感与语义准确性，覆盖多元场景。这表明 Sol-RL 有效提升了文生图模型与人类偏好的对齐能力，使生成结果更贴合实际应用需求。

图 7：基于 PickScore 优化模型的定性对比。我们将 Flux.1-dev 基础模型生成的图像，与其经 Sol-RL、DiffusionNFT 和 FlowGRPO 微调后的变体进行对比。Sol-RL 生成的图像与提示词的语义匹配度更高，细粒度细节更丰富，艺术风格也更连贯统一。

经过 Sol-RL 优化的 SANA 与 FLUX 模型，在应对包含多个物体、特定空间关系、材质细节的复杂组合指令时，展现出更强的语义解析力与构图逻辑性。这暗示解耦式强化学习不仅提升了美学评分，更强化了模型对文本条件的实际绑定能力。

四、相关工作与差异化定位

扩散模型强化学习领域正处于从“Critic 依赖”向“GRPO 变体”过渡的爆发期，而量化加速社区则在精度保持与硬件适配间反复权衡。

Sol-RL 并未割裂地看待这两个领域，而是敏锐捕捉到 GRPO 机制的“采样容错性”，架起了一座连接算法创新与硬件算力潜能的桥梁。其两阶段解耦策略相较于端到端 FP8 训练或离线偏好优化，在效率与普适性上开辟了第三条道路。

4.1 扩散模型强化学习的演进脉络

现有 Diffusion RL 工作大致分为两条路径：

1. 逆向过程优化：以 DDPO、DPOK 为代表，将去噪过程视为多步决策问题，计算每步似然。GRPO 引入后，Flow-GRPO、DanceGRPO 进一步将其适配至流匹配范式。此类方法的瓶颈在于前向采样开销巨大。
2. 正向过程优化：以 AWM、DiffusionNFT 为代表，直接基于 ELBO 或 Score Matching 目标优化，避免了逆向轨迹展开，训练更平稳。

Sol-RL 在算法层选型了高效的 DiffusionNFT 目标，但其核心贡献在于系统层架构。相比于 DanceGRPO 通过选择高对比度样本提升样本效率，Sol-RL 更进一步，通过量化加速了高对比度样本的发掘过程。

4.2 低比特推理与 RL 的结合尝试

在大型语言模型领域，FlashRL、QeRL 等工作已尝试将 INT8/FP8 量化用于 RL 采样。然而，相关研究普遍发现，直接量化会导致严重的非策略退化。

• 修复派：尝试在损失函数层面引入修正项来弥合分布差距。但这在扩散模型的连续状态空间中极易失效。
• 统一派：主张全链路统一使用 FP8 精度，虽消除了精度差异，但也放弃了高精度训练可能带来的更高性能上限。

Sol-RL 的差异在于物理隔离。它不试图在数学上“近似”或“对齐”量化分布，而是用额外的 BF16 计算重构了真实分布。这是一种用空间换精度的系统层设计。

4.3 Sol-RL 的比较优势

• 与离线方法相比：在线采样能覆盖模型当前分布的薄弱点，对齐效果通常优于静态数据集。
• 与纯高精度 GRPO 相比：算力效率显著提升，单位时间吞吐量提升数倍。
• 与端到端量化训练相比：避免了低精度梯度累积带来的训练不稳定与模型容量上限受损。

五、结论与展望

5.1 结论总结

Sol-RL 框架的核心贡献在于揭示并利用了大模型强化学习训练中探索与利用的算力需求不对称性。通过将强化学习管线解耦为“FP4 极速探索筛选”与“BF16 高保真优化”两个阶段，该工作实现了显著的训练加速，且未牺牲模型的最终生成质量。

该方法不仅是对特定硬件特性的针对性调优，更是一种对 Diffusion RL 训练范式的底层重构——它论证了在强化学习引导的生成过程中，廉价的低精度计算足以胜任高精度计算的“侦察兵”。这一发现为重计算负载的 AIGC 模型后训练开辟了极具性价比的新路径。

5.2 进一步分析：潜在挑战与局限

抛开论文的光鲜数据，从工程实践角度审视 Sol-RL，以下几个问题值得深究：

1. 内存墙与量化反序列化开销
   在实际多 GPU 分布式训练中，频繁的 BF16 ↔ FP4 权重转换（虽然单个开销小，但频率高）是否会产生显著的通信总线抖动？对于某些模型，端到端加速比有所下降，说明权重转换与重生成的固定开销可能正在侵蚀加速收益。对于更大批次或更高分辨率的训练，FP4 探索阶段产生的中间激活是否会成为新的显存瓶颈？

2. 假设强度的局限性
   理论证明高度依赖“ODE 确定性采样”与“奖励函数 Lipschitz 连续”假设。如果将该框架拓展至随机采样或使用非光滑奖励模型，FP4 扰动可能导致排序发生阶跃式错乱。此时，依赖极端值理论的大规模覆盖策略可能失效，筛选出的种子将不再具有代表性。

3. 探索步数的工程权衡
   论文指出了特定探索步数的性价比优势。但从系统角度看，不同步数采样对应的计算图不同，这要求动态编译或维护多套计算图。在实际工程落地时，这增加了显存占用与调度复杂度。

4. 奖励模型的过拟合风险
   Sol-RL 极大地提升了样本生成效率，但也意味着策略网络将更频繁、更激进地冲击奖励模型的盲区。如果奖励模型对 FP4 引入的特定纹理畸变存在未曾预料到的偏好，高强度的强化学习可能会迅速放大这种“对抗性纹理”，导致生成图像出现高分低质现象。

图 6：NVFP4 与 BF16 rollout 的可视化对比。尽管存在局部微小偏差，NVFP4 量化 rollout 仍保留整体语义布局与结构。该可视化验证了 FP4 量化的核心特性：局部像素扰动不影响全局语义结构，这是其可作为奖励排名替代的关键依据。

5.3 未来工作

作者团队在论文中已明确指出，未来将探索将该框架推广至更多样化的采样范式以及视频生成扩散模型的强化学习对齐中，进一步验证解耦策略的泛化能力。

从更广阔的视角看，基于 Sol-RL 展现的算法-硬件协同潜力，我们认为以下方向具有进一步探索的价值：

未来展望

1. 基于注意力稀疏性的动态比特流分配：当前 Sol-RL 在全图范围均一使用 FP4 精度。然而，扩散模型在不同去噪阶段及图像不同空间区域对量化的敏感度存在显著差异。未来，可结合注意力图（Attention Map）实现空间自适应的异构量化：对背景等不敏感区域采用 INT4 以最大化算力利用，而对前景主体及精细边缘则保留 FP8 或 FP16 精度。这需要编译器层与算法层的深度协同，或将重塑 AI 基础设施对上层框架的支持模式。

2. 从 FP4 探索迈向 FP4 训练：既然 FP4 在探索阶段已证明其语义保真能力，可借鉴大语言模型领域的经验，探索 FP4 与 BF16 LoRA 结合的混合精度训练路径。其核心在于，在 NVFP4 计算图上直接进行梯度计算以利用其高密度算力，但仅将梯度用于更新极少量的 LoRA 参数。若此方案可行，扩散模型强化学习的训练成本有望再降低一个数量级，从而推动 RL 后训练技术的广泛普及。

3. 面向在线生成的即时重排序基础设施：Sol-RL 本质上构建了一个高效的“生成-评估-筛选”流水线。将此思想下沉至推理系统，可构建 云边协同的实时 Diffusion 代理服务：在边缘设备部署 FP4 量化模型进行快速多样性生成，云端则利用 BF16 全精度大模型对优选结果进行超分辨率重建或精细化修正。这将把昂贵的扩散模型推理转化为一种层次化、按需分配的计算服务，从根本上改变 AIGC 应用的算力经济模型。

关注“鲸栖”小程序，掌握最新AI资讯