强化学习

近期，阿里巴巴ROLL团队（淘天未来生活实验室与阿里巴巴智能引擎团队）联合上海交通大学、香港科技大学推出的「3A」协同优化框架，标志着强化学习在大语言模型（RL4LLM）领域迈入高效、精细与可解释的新阶段。该框架并非孤立技术堆砌，而是通过Async架构（异步训练）、Asymmetric PPO（非对称PPO）与Attention机制（基于注意力的推理节奏）的…

在机器人技术快速发展的今天，人机协作搬运一直是学术界和工业界关注的重点领域。传统方法通常依赖外部传感器（如摄像头、激光雷达）或遥控设备来实现机器人与人类的交互，但这些方案存在成本高、易受环境干扰、交互不自然等局限。近期，一项由中国研究团队提出的创新方法COLA（Collaborative Lifting with Adaptive roles）引起了广泛关注…

在自动驾驶技术发展的关键转折点，行业正经历一场深刻的范式迁移。端到端架构虽曾统一技术栈并释放Scaling Law潜力，但随着数据瓶颈日益凸显，单纯依赖模仿学习已难以突破人类司机能力上限。ICCV 2025的最新动向显示，头部企业正形成共识：强化学习与云端生成式世界模型将成为下一代自动驾驶系统的核心基座。 特斯拉与理想汽车在顶会现场的实践分享，揭示了这一转型…

在DeepSeek-R1、Kimi1.5等模型相继展示强化学习对大型语言模型复杂推理能力的显著提升后，可验证强化学习（RLVR）在数学、逻辑与编程等领域的应用已成为研究热点。然而，现有RLVR方法在提升模型pass@1性能的同时，却导致pass@K（K>1）性能下降，这一矛盾现象揭示了当前强化学习范式的根本缺陷。 **RLVR的探索困境：概率分布的过度…

在人工智能领域，大语言模型的快速发展正将“记忆”问题推向技术前沿。当前，即使是最先进的GPT-4.1等模型，在处理持续增长的交互时，仍面临成本与延迟的指数级上升挑战。传统的外部记忆系统大多依赖人工规则与预设指令，导致模型缺乏对“何时记忆、记忆什么、如何更新”等核心问题的真正理解。Mem-α的出现，标志着记忆管理从规则驱动向学习驱动的范式转变——这项由加州大学…

在生成式人工智能（GenAI）席卷全球、大模型发布会此起彼伏的喧嚣中，2024年图灵奖得主、强化学习奠基人Richard Sutton的动向，如同一枚投入平静湖面的石子，激起了AI研究圈的深层涟漪。这位被誉为“强化学习教父”的科学家，在获得学术最高荣誉后，并未选择加入科技巨头或继续纯理论研究，而是以首席科学官的身份加盟了一家名不见经传的初创公司Experie…

在通往通用人工智能（AGI）的道路上，推理能力被视为核心瓶颈之一。过去一年，以OpenAI o系列、DeepSeek-R1、Qwen为代表的推理模型通过“长链思维”策略显著提升了复杂问题解决能力，但这种进步伴随着沉重的代价：推理链条不断延长导致Token消耗呈指数级增长，响应速度大幅下降，部署成本急剧攀升。当DeepSeek-R1在AIME-24数学基准上需…

在人工智能领域，大语言模型（LLM）的数学推理能力一直是衡量其智能水平的重要标尺。近年来，基于可验证奖励的强化学习（RLVR）方法，如PPO、GRPO等，已成为提升模型推理能力的主流技术路径。然而，这些方法本质上仍沿袭传统强化学习的策略迭代框架——通过策略评估与策略改进的循环过程优化模型性能。这种范式在LLM推理任务中暴露出三大核心缺陷：训练稳定性差、计算复…

上海AI Lab研发的开源模型P1-235B-A22B在国际物理奥林匹克竞赛（IPhO）中首次达到金牌分数线，并在涵盖全球13项顶级赛事的HiPhO基准测试中以12金1银的成绩与谷歌Gemini-2.5-Pro并列第一，超越GPT-5与Grok-4。该成果依托多阶段强化学习训练与协同进化多智能体系统PhysicsMinions，标志着开源模型在复杂物理推理能力上实现重要突破。

斯坦福团队推出AgentFlow框架，通过在线强化学习让仅7B参数的小模型在流式协作中“边做边学”。该方法使模型在搜索、数学等10项任务中性能显著提升，部分表现甚至超越了GPT-4o等超大模型，证明了优化系统设计可突破模型规模限制。