模型训练

自我蒸馏的陷阱：为何AI“抄袭”自己思考反而损害数学推理能力？ 当 AI 试图通过“抄袭”自己的思考过程来变得更高效时，它可能无意中丢掉了最宝贵的品质——承认“我可能错了”。 在人工智能领域，一种名为“自我蒸馏”（Self-Distillation）的后训练范式正迅速崛起。其核心思想极具吸引力：让模型自己充当老师，利用更丰富的上下文信息（如标准答案）来指导学…

强化学习的范式迁移：从监督走向无监督 强化学习正持续拓展大模型的能力边界。从 OpenAI o3 到 DeepSeek-R1、Gemini 3，顶尖模型正通过大规模 RLVR（可验证奖励强化学习）不断刷新推理任务的上限。然而，纯监督式训练的局限性日益凸显：人工标注成本呈指数级增长，在专业领域获取可靠标注愈发困难。当模型能力逼近甚至超越人类专家时，可靠的评估者…

OpenAI前研究员Jerry Tworek近日在《Unsupervised Learning》节目中分享了他对AI发展的深度见解。Jerry Tworek是OpenAI推理模型o1、o3及Codex的关键架构师，深度参与了近年AI领域的多项突破。他近期离开OpenAI，旨在探索在大型实验室框架下较难开展的研究方向。 在访谈中，Jerry探讨了多个核心议题，…

你能在一杯咖啡还没喝完时搭建出你的第一个模型。 先说一句可能听起来有点“逆风”的话： 机器学习并不难。难的是在不必要的复杂性里摸爬滚打。 多数人被机器学习劝退，不是因为不够聪明，而是因为在他们还没开始训练模型前，整个生态就已经把微积分、矩阵符号和数千页的文档砸过来了。 在用 Python 写代码 4 年多、并教过不少开发者（包括非常资深的）之后，我得出一个结…

近日，在达沃斯世界经济论坛上，一场关于人工智能的对话因其嘉宾的分量而格外引人注目。台上两位核心人物，是当前AI领域最具影响力的领袖： Dario Amodei， Anthropic CEO，近年来对通用人工智能（AGI）时间线最为激进的预测者之一。 Demis Hassabis， Google DeepMind 创始人，AlphaFold 等突破性项目的核心…

一部手机加一个“夹爪”，随时随地采集具身智能数据 现在，只需一部手机和一个“夹爪”，就能随时随地完成具身智能数据采集。 采集到的数据质量高、可直接用于训练，并已在模型训练中验证了效果。* 模型在多步连续任务中，动作衔接更稳定。* 在真实场景中面对光照变化、环境杂乱或物体遮挡时，执行鲁棒性显著提升，更不容易失手。* 当任务目标发生小幅变化（如操作顺序调整）时，…

2026年开年，DeepSeek发布了一项新研究《mHC: Manifold-Constrained Hyper-Connections》。这篇论文直接挑战了残差连接的垄断地位，提出了一种全新的网络连接方式。 残差连接的隐形天花板 残差连接（Residual Connection）自ResNet提出以来，已成为深度学习的核心组件。它通过一个简单的加法操作 x…