强化学习

“ChatGPT 并不是 OpenAI 精心策划出来的。” “Agent 和 RL 后训练本质上是一回事。” 在发布前，OpenAI 内部甚至做好了“几天后就关掉”的心理准备；最初的目标，只是收集一点真实用户数据。那时没有人预料到，它会在几天内引爆整个世界，更没人能提前画出那条指数级增长的曲线。 而这场“意外爆炸”的背后，其实只是来自一个12人的 “RL T…

关键词：昇腾 Ascend、NPU 内核生成、大语言模型、领域适应、强化学习、评估基准 在人工智能飞速发展的今天，深度学习的计算需求呈指数级增长，传统的 CPU 和通用 GPU 已难以满足特定场景下的高效计算要求。为此，神经处理单元（Neural Processing Unit，NPU） 作为专为 AI 计算设计的领域专用加速器，逐渐成为现代 AI 基础设施…

2024年底，硅谷和北京的业界人士都在讨论同一个令人不安的话题：Scaling Law似乎正在撞墙。 当时，尽管英伟达的股价仍在飙升，但多方信源显示，包括备受期待的Orion（原计划的GPT-5）在内，新一代旗舰模型在单纯增加参数规模和训练数据后，并未展现出预期的边际效益提升。同时，也有研究认为高质量预训练数据将很快耗尽，甚至预测了明确的时间节点：2028年…

GRPO 是促使 DeepSeek-R1 成功的基础技术之一。最近一两年，GRPO 及其变体因其高效性和简洁性，已成为业内广泛采用的强化学习算法。 然而，随着语言模型能力的不断提升，用户对它们的期待也在发生变化：不仅要回答正确，还要在各种不同场景下表现出符合多样化人类偏好的行为。为此，强化学习训练流程开始引入多种奖励信号，每一种奖励对应一种不同的偏好，用来共…

Youtu-Agent团队 投稿 量子位 | 公众号 QbitAI 在学校里做实验时，老师如何确认学生完成了实验并达到了预期效果？最常见的做法是要求学生提交一份实验报告。 那么，当AI智能体执行一项任务后，我们如何检验其执行效果是否达标？一个可行的思路是：让AI在执行任务的同时，主动收集并提交一份“证据链报告”。智能体可以边执行边取证，自我检查是否符合预期，…

大型语言模型在处理长对话或多步复杂任务时，最头疼的就是记忆管理问题。现有的方法往往采用人工设定的规则来决定哪些信息该存、哪些该删，效果有限且不够灵活。 阿里巴巴团队最近在论文《Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Langua…

近日，清华大学等机构的研究团队提出了 MARSHAL 框架。该框架利用强化学习，让大语言模型在策略游戏中进行自博弈（Self-Play）。实验表明，这种多轮、多智能体训练不仅提升了模型在游戏中的博弈决策水平，更将其推理能力有效泛化到了通用的多智能体系统中：在数学竞赛和专家级问答等一般推理任务中，显著提升了多智能体系统的整体表现。 论文标题：MARSHAL: …

R1论文暴涨至86页！DeepSeek向世界证明：开源不仅能追平闭源，还能教闭源做事！ 全网震撼！两天前，DeepSeek悄无声息地将R1的论文从原来的22页大幅更新至86页。这篇全新的论文证明，仅通过强化学习就能显著提升AI的推理能力。DeepSeek似乎在憋大招，甚至有网友推测，这种纯强化学习方法或许会出现在未来的R2版本中。 此次更新，将原始论文升级为…

当 OpenAI 前 CTO Mira Murati 创立的 Thinking Machines Lab 推出 Tinker 时，它为大模型训练带来了一种范式革新。Tinker 将复杂的训练过程抽象为前向传播、反向传播、优化器更新等一系列基础原语，从而将算法设计与分布式训练基础设施解耦。这使得训练大模型变得如同调用函数一样简单，标志着行业正从“作坊式炼丹”向…

大模型下半场的战火，已经从“暴力预训练”烧向了“后训练”战场。 无论是OpenAI o1的推理突破，还是DeepSeek-R1靠强化学习 （RL） 实现的性能飞跃，都释放了一个明确信号： 决定模型天花板的，不再只是算力堆砌，而是更精准的微调和RL迭代。 但现实很骨感——复杂的分布式基建、高昂的显卡租金、繁琐的架构调优，像一道道高墙，把无数算法工程师挡在了“炼…