3B小模型逆袭万亿巨头：Nanbeige4.1-3B如何以“小而全”颠覆大模型军备竞赛？

近年来，大模型领域的竞争日趋白热化，无论是开源还是闭源阵营，都陷入了对 Scaling Law、算力与参数量的极致追求，其规模膨胀的速度已近乎“军备竞赛”。

过去，拥有约15亿参数的GPT-2在如今看来已属“小模型”。而GPT-4的参数规模据业内估计已达万亿级别，GPT-5等后续模型的体量更是难以估量。开源模型同样在向超大参数迈进，超过6000亿参数的模型已不鲜见。

回顾2026年前两个月发布的开放权重模型，Kimi K2.5和Ling 2.5均已达到万亿参数规模，模型结构也日益复杂。相比之下，小模型的身影则显得凤毛麟角。

2026年1月和2月发布的10个开放权重模型。图源：Sebastian Raschka

然而，模型越大就一定越强吗？参数规模与模型能力正相关的定律，其根基早已开始动摇。

近期，一个“50米洗车是走去还是开车去”的推理问题在网络上引发广泛讨论，难倒了许多大模型，其中甚至包括参数量超大的GPT-5.3 Thinking。

但令人意外的是，一个仅30亿参数的小模型却在此问题上脱颖而出。它在这些万亿级参数模型都未能正确推理的场景中，精准地抓住了“洗车必须开车前往”这一关键逻辑点。

图源：HuggingFace 产品负责人 Victor Mustar

视频源：HuggingFace 产品负责人 Victor Mustar

在效率与成本方面，小模型具备不可替代的优势。那么，是否存在一种可能：让一个小模型实现“越级”挑战，完成通常需要大量参数才能胜任的推理、编程、搜索等复杂任务，甚至在某些性能表现上超越大模型？

来自南北阁实验室的Nanbeige4.1-3B模型，给出了一个颇具冲击力的答案。它旨在以30亿的参数量，实现通用问答、复杂推理、代码编写与深度搜索等综合能力。

从评测结果看，Nanbeige4.1-3B不仅显著超越了同规模的开源小模型（如Qwen3-4B、Qwen3-8B），其综合指标甚至优于参数量大10倍的Qwen3-32B与Qwen3-30B-A3B。

值得注意的是，近期Qwen团队发布的Qwen 3.5小模型系列广受好评。在与参数规模接近的Qwen3.5-4B模型的对比中，Nanbeige4.1-3B在六大核心指标上仍保持整体领先，展现了其稳健的技术优势。

该模型发布后迅速登上HuggingFace趋势榜单前列，曾位列文本模型趋势榜第一，并一度冲进全球模型总榜前三，在小模型赛道引发了广泛关注。

HuggingFace 文本模型趋势榜第一

一个参数量小、推理速度快、部署成本低的模型，却能在核心能力上媲美大模型，这无疑为AI应用开发者注入了强心剂，也为未来AI模型的广泛落地开启了更多想象空间。

技术解析：当3B挑战32B，如何实现“小而全”？

我们对小模型常有一些刻板印象。由于其参数量有限，大多数小模型的长板和短板都异常明显，难以实现真正的“通用”能力。专注于解题的模型往往在长程交互（如深度搜索）上力不从心；而擅长代码或智能体任务的模型，又可能缺乏扎实的通用推理能力或与人类偏好的对齐能力。

这正是Nanbeige4.1-3B在小模型领域显得尤为突出的原因。它是一个“小而全”的统一通用模型，其核心突破在于“统一性”——系统性地将通用问答、复杂推理、代码能力与深度搜索智能体能力整合进30亿参数规模之内。

为了实现这种不可思议的能力压缩，研究团队采用了分阶段、分领域的优化策略，在确保模型各领域专长的同时，维持了领域间的能力平衡。

通用能力：SFT与双阶段RL

在一个模型的完整训练链路中，监督微调（SFT）数据构建和强化学习（RL）训练是两大支柱。

对于小模型而言，SFT阶段决定了其能力天花板的高度。如果基础数据分布存在偏差，后续的RL修正往往事倍功半。为了在有限规模下获取更强的推理深度，Nanbeige4.1-3B调整了指令数据的结构比例：提高了代码类样本的占比；增加了数学难题和复杂推理任务；引入了更多跨领域综合问题。这种数据策略对于没有冗余参数的3B模型至关重要，能迫使其参数空间更倾向于建模深层逻辑。

提升模型推理能力的第二个关键点是上下文长度。上一代模型采用两阶段课程（32K → 64K）进行上下文训练，而Nanbeige4.1-3B进一步扩展到三阶段：32K → 64K → 256K。这种渐进式扩展通过课程学习，让模型更稳定地适应长距离依赖关系。

第三项优化聚焦于回复质量的提升。许多模型在推理任务中虽能给出正确答案，但其思维链常存在跳步、逻辑不连贯，甚至事后补写解释的问题，这在小型模型中更为明显。为此，Nanbeige4.1-3B升级了“解决方案精炼”与“思维链重构”两套框架。

“解决方案精炼”通过增加解答迭代优化的轮次，让模型在生成初步答案后进行多轮自我修正，以减少逻辑漏洞并提升推理完整性。“思维链重构”则通过训练更强的重构模型，使生成的推理路径更加忠实和一致。

实验结果表明，通过上述SFT阶段的改进，Nanbeige4.1-3B相比前代模型Nanbeige4-3B在评估结果上实现了巨大飞跃，在编码和数学领域的基准测试中提升尤为显著。

在让模型拟合人类偏好、减少错误回答方面，强化学习的作用至关重要，尤其在参数规模有限的情况下，RL重塑模型行为偏好的效果会被进一步放大。南北阁团队创新地将整个RL过程拆分为两个阶段：

• 点对点RL：核心目标是提升单条回答的质量。通过引入通用奖励模型对回答进行评分，显著降低回答的冗长、重复与格式错误。
• 配对式RL：让模型与其他模型进行PK。针对同一问题，由配对式奖励模型比较两份回答的优劣，并给出奖励信号，使模型在模拟的竞争环境中迭代提升。

这一设计是Nanbeige4.1-3B在通用强化学习阶段的关键。点对点RL提升了“智能的整洁度”，而配对式RL则磨砺了“智能的锋利度”，使模型既能优化单点表现，也能在对抗性评估中获得增益。

实验表明，引入 Point-wise RL 后，模型在 Arena-Hard V2 基准上的表现显著提升，同时 LiveCodeBench-v6 的格式错误率从 5.27% 降至 0.38%。

在 Point-wise RL 的基础上，进一步引入 Pair-wise RL 可以持续提升模型性能。该方法不仅改善了基于 Pair-wise 打分的 Arena-Hard V2 评测结果，也对基于 Point-wise 打分的 Multi-Challenge 基准带来了明显收益。

编码能力：先做对，再做快

在通用型小模型中实现强大的编码能力颇具挑战，这需要深入的工程化设计。Nanbeige4.1-3B 在代码能力训练中采用了两阶段强化学习策略，以平衡代码复杂性与正确性之间的矛盾：

• 第一阶段：优化正确率。奖励（pass-rate reward）定义为每个问题通过测试用例的比例。此阶段旨在确保模型能够可靠地生成正确解答。
• 第二阶段：在正确基础上优化效率。当且仅当解答通过全部测试用例（PassRate = 1）时，才会激活时间复杂度奖励。一个评判系统通过在线比较模型输出的预测时间复杂度与参考最优边界来提供反馈。

代码强化学习中的门控时间复杂度奖励设计。该机制确保仅在解答完全正确时才进行效率优化。

这种“门控式”设计避免了模型在尚未掌握正确解法时盲目追求效率。训练曲线显示，在第二阶段，模型的时间复杂度奖励显著提升，同时保持了稳定的正确率。

两阶段代码强化学习的训练动态。从第一阶段到第二阶段，各项指标均呈现稳定且持续的提升。

这一训练思路与当前代码强化学习领域的主流趋势高度一致。

深度搜索：将智能体能力融入小模型

深度搜索任务本质上是长上下文、多跳推理、工具调用与信息整合的复合场景，对多数小模型构成挑战。Nanbeige4.1-3B 在此类任务上表现突出，成为其区别于其他通用小模型的重要特点。

为增强模型搜索能力，研究团队构建了一个大规模、复杂的搜索数据集，包含从维基百科实体关系图中衍生的多跳问答对，以及经过严格多阶段过滤的高质量长程搜索轨迹。这些数据天然具备结构复杂性和可验证性。

训练过程中引入了轮次级质量控制机制。模型在每一次搜索交互中的行为都会被独立评估，而不仅仅关注最终答案。一个评判模型从三个维度进行判定：推理过程是否逻辑自洽、工具调用是否准确、该轮操作是否带来有效信息增益。若某一轮未达到标准，在监督微调阶段不会参与损失计算；在强化学习阶段则会触发负向奖励。

用于深度搜索的数据构建流程，包括复杂多跳问答样本的采样以及长程推理轨迹的合成。

整体而言，该设计的核心是训练模型形成稳定的“检索 — 判断 — 再检索”循环结构。通过结构化数据生成与过程级奖励约束，即便在 3B 规模下，模型也能逐步学会规划搜索路径、控制误差传播，并在长上下文中保持推理一致性，使其在深度搜索基准上达到了专业搜索智能体的水平。

实验结果：越级挑战与实战检验

在综合基准测试中，Nanbeige4.1-3B 显著超越了同规模模型，并在多数测试中超过了参数规模大10倍以上的模型。

尤为值得注意的是，在与规模显著更大的 Qwen3-Next-80B-A3B 模型对比中，Nanbeige4.1-3B 依然保持竞争力，各项指标互有胜负。

该模型在深度搜索任务上表现尤为亮眼：

其在 xBench-DeepSearch-2505 上达到 75 分，在 GAIA（text-only）上达到 69.90 分，成绩接近专为搜索打造的智能体小模型 AgentCPM-Explore-4B。

如文章开头所述，研究团队将 Nanbeige4.1-3B 与发布时间晚三周的同类规模新模型 Qwen3.5-4B 进行对比，前者基本保持领先。

真实任务评测比静态基准测试更具说服力。模型发布后，研究团队选取了全新的真实任务竞赛进行检验。在代码领域的 LeetCode 周赛与数学领域的 HMMT 2026 Feb（哈佛-麻省理工数学竞赛）中，Nanbeige4.1-3B 的表现不仅显著优于 Qwen3.5-4B，甚至超过了参数量更大的 Qwen3.5-9B。

这些竞赛均在模型发布后举办，完全排除了数据记忆的干扰，有力证明了 Nanbeige4.1-3B 具备强大的泛化能力与深度的逻辑推理水平，能够经得起实战检验。

总结：小模型时代正在加速

Nanbeige4.1-3B 的意义在于，它展示了通用小模型“以小博大”的潜力。

小模型不再仅仅是大模型的“轻量替代品”，而是在精细化训练方法的加持下，形成了独立且通用的能力体系。参数规模的差距正被训练范式的创新逐步弥补。同时，原本被认为依赖大模型规模优势的智能体能力与复杂推理能力，也开始下沉到更具部署友好性的尺度。

当 3B 大小的模型能够稳定处理推理、编程与搜索任务时，企业侧的部署范式将被重塑。移动端、本地化、私有化部署场景的想象空间随之打开。

未来，研究团队将持续探索小模型在复杂代码生成、科研辅助及真实工业环境中的能力边界，并通过架构创新进一步释放其潜力。从训练机制到结构设计，小模型的上限远未触顶。

大模型的边界仍在扩张，但小模型的效率革命也已发生。或许，未来真正决定 AI 应用广度的，将是小参数模型所能释放的智能密度。

小模型的时代，才刚刚启幕。

关注“鲸栖”小程序，掌握最新AI资讯