强化学习

在人工智能领域，大语言模型（LLM）的强化学习（RL）训练已成为提升模型复杂推理与问题解决能力的关键技术路径。然而，当前主流RL方法普遍面临一个根本性矛盾：奖励信号通常基于完整生成序列（序列级）进行评估，而优化过程却在单个token级别进行。这种“奖励-优化”层级的不匹配不仅引发了理论上的健全性质疑，更在实际训练中导致稳定性问题，特别是在混合专家（MoE）等…

在人工智能领域，面对日益复杂的任务需求，单纯依赖规模更大的模型往往陷入成本高昂、响应迟缓的困境。最近，英伟达与香港大学的研究团队提出了一种创新的解决方案——Orchestrator-8B，它通过一个仅80亿参数的小型模型作为“指挥家”，动态协调代码解释器、网络搜索、数学模型乃至更强大的大模型等多样化工具，形成高效的多智能体协作系统。这一范式不仅显著提升了任务…

在人工智能领域，智能体工作流的构建一直是提升任务执行效率的关键。然而，传统基于提示词工程的工作流设计存在明显的性能天花板，而静态路由策略则常导致计算资源的严重浪费。香港大学与NVIDIA团队的最新研究《ToolOrchestra: Learning to Orchestrate Tools with Multi-Objective Reinforcement…

在人工智能技术日新月异的今天，我们正见证着AI从单纯的信息处理工具向具备深度感知与创造性输出能力的智能体演进。传统AI模型在面对用户查询时，往往局限于生成文本答案，这种交互方式在解释复杂动态过程或视觉化场景时显得力不从心。例如，当用户询问“如何打温莎结”时，文字描述难以精确传达手指的缠绕顺序和力度变化；而面对“电影主角下一秒会做什么”的开放式问题，静态的文字…

上海AI Lab研发的开源模型P1-235B-A22B在国际物理奥林匹克竞赛（IPhO）中首次达到金牌分数线，并在涵盖全球13项顶级赛事的HiPhO基准测试中以12金1银的成绩与谷歌Gemini-2.5-Pro并列第一，超越GPT-5与Grok-4。该成果依托多阶段强化学习训练与协同进化多智能体系统PhysicsMinions，标志着开源模型在复杂物理推理能力上实现重要突破。

斯坦福团队推出AgentFlow框架，通过在线强化学习让仅7B参数的小模型在流式协作中“边做边学”。该方法使模型在搜索、数学等10项任务中性能显著提升，部分表现甚至超越了GPT-4o等超大模型，证明了优化系统设计可突破模型规模限制。