英伟达发布开源混合专家模型Nemotron-3-Super，120B参数支持百万上下文
英伟达正式发布并开源了其最新的混合专家模型Nemotron-3-Super，该模型拥有1200亿参数，在多项基准测试中表现卓越。
在评估智能体控制能力的PinchBench测试中，Nemotron-3-Super取得了85.6%的高分，位列同类开源模型榜首。此外，在Artificial Intelligence Index评估中，该模型以37分的成绩超越了得分33分的GPT-OSS-120B。
英伟达在开源模型领域持续投入。据其最新财务文件披露，公司计划在未来五年内投入260亿美元，用于构建开源人工智能模型。
百万级上下文与五倍吞吐量提升
Nemotron-3-Super原生支持100万token的上下文窗口，为处理复杂、多步骤的任务提供了充足的长期记忆容量。其运行效率也显著提升，推理吞吐量达到上一代Nemotron-Super模型的5倍以上。
在处理代码生成和工具调用等结构化任务时，该模型可实现最高3倍的实际推理加速。在特定的8k输入/64k输出测试配置下，其推理吞吐量达到GPT-OSS-120B的2.2倍。
在具体基准测试中：
* 在软件工程基准SWE-Bench上，结合OpenHands框架，其准确率达到60.47%，高于GPT-OSS-120B的41.9%。
* 在终端操作基准Terminal Bench的困难子集测试中，得分为25.78%，略高于GPT-OSS-120B的24.00%。
* 在常识推理测试MMLU-Pro中，获得83.73分，优于GPT-OSS-120B的81.00分。
* 在涵盖航空、零售和电信领域的复杂业务场景测试TauBench V2中，平均成绩为61.15%。
面向Blackwell架构的优化设计
Nemotron-3-Super的性能得益于其针对性的模型架构优化。
为高效处理长上下文，模型采用了混合Mamba-Transformer架构。该设计结合了具有线性时间复杂度的Mamba-2层来处理长序列，并在关键网络深度插入Transformer全局注意力层，以保障信息关联的准确性。
在模型扩展方面，为突破传统混合专家架构的通信与计算瓶颈，模型引入了潜在混合专家架构。该技术将token投影到低秩潜空间进行降维后再进行路由决策，使得模型在同等计算成本下能够调用四倍数量的专家网络，实现更精细的任务处理。
为提升生成速度，模型原生集成了多token预测技术。通过共享权重设计，模型能在单次前向传播中并行预测未来多个token，这不仅增强了对长程逻辑的理解，也带来了内置的推测解码能力，显著缩短了代码生成等任务的耗时。
在硬件层面，模型采用原生NVFP4格式进行预训练。这种基于25万亿token的低精度预训练，使模型从初始阶段就适配Blackwell架构。最终，模型在B200芯片上的推理速度达到H100芯片的四倍，在降低内存需求的同时保持了准确性。
针对智能体能力的强化训练
为使模型具备执行复杂任务的智能体能力，英伟达在后训练阶段采用了多层次的强化策略。
在监督微调阶段，研发团队采用两阶段训练：第一阶段使用标记级平均损失建立推理基础；第二阶段切换为样本级平均损失，以解决长输入导致的性能下降问题，确保模型能针对海量信息给出精准的简短输出。
针对智能体命令行交互，团队构建了一个包含2万个初始查询的种子任务集，并利用模型作为裁判进行筛选，最终提炼出1.5万个高质量合成任务。通过从高性能模型中蒸馏操作轨迹，Nemotron-3-Super掌握了复杂的终端交互技能。
在强化学习阶段，模型被置于NeMo Gym平台的21种真实环境配置中进行训练。评估维度涵盖工具调用的准确性、代码的可执行性及复杂计划的完整性。
针对高难度的软件工程任务，模型经历了专门的软件工程强化学习阶段，在隔离的容器环境中通过执行反馈来修正逻辑错误。
此外，团队还采用了枢轴强化学习技术，在编程和搜索等关键领域，重点强化专家轨迹中不确定性较高的决策点，从而提升模型在多步工作流中的稳定性，减少长任务中的推理漂移。
开源资源与参考链接
英伟达已全面开放Nemotron-3-Super的模型权重、训练与评估配方以及详细部署文档。
项目与报告链接：
* GitHub项目页：https://github.com/NVIDIA-NeMo/Nemotron/tree/main/usage-cookbook/Nemotron-3-Super
* 技术报告：https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-Super-Technical-Report.pdf
* 官方博客介绍：https://developer.nvidia.com/blog/introducing-nemotron-3-super-an-open-hybrid-mamba-transformer-moe-for-agentic-reasoning/
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：https://www.itsolotime.com/archives/25404