大模型评测

当我们谈论大模型应用开发时，评测环节往往是那个“既重要又棘手”的存在。它决定了产品能否真正解决用户问题，却又充满了难以量化的灰色地带。这篇文章，聊聊在实践中对评测的一些观察与思考。 为什么公开Benchmark的参考价值有限 各家模型发布时，漂亮的Benchmark数据总是标配。如果仅看这些数字，似乎AGI已经近在咫尺。然而现实往往给人当头一棒——Ilya在…

智谱AI近期发布了其2025年中的旗舰模型GLM-4.7，该版本的核心定位是强化Agentic Coding能力。 一句话总结：GLM-4.7在文本理解与创意写作方面表现突出，但在复杂代码生成与多模态理解上仍有明显不足，距离成为“Agentic Coding新标杆”尚需努力。 核心评测结论：* 三大亮点： * 基础推理扎实：在数学计算、逻辑推理、文本处理等基…

#0 前言 笔者最早的编程测试V1采用传统的3 Pass测试法，25年下半年迭代了更贴近多轮场景的V2测试法。但仅测试3轮的V2方法局限性仍然很大。首先，该方法只观察模型在3轮自主修复中能取得的最终成绩，而实际Agent场景中，编程模型拥有几乎无限的轮次，只要能解决问题即可。其次，V2方法只提供运行结果反馈，不提供工具，而实际Agent可以借助Lint/Co…

豆包AI现场激辩罗永浩：实时语音大模型通过“人机舌战”极限公测 罗永浩的年度科技创新分享大会，刷屏全网。 复盘整场四个多小时的直播，观众集体回味讨论的焦点似乎就两个： 第一，不知是因为迟到了40多分钟，还是提前就有谋划，罗永浩现场宣布给所有购票观众退票。 第二，罗永浩这张网络名嘴和豆包AI之间的“人机舌战”竟成最大亮点，火爆出圈。 光看二位的辩题，就已火药味…

阿里巴巴近期发布了Qwen3-Max-Preview-Think新版本，这是在Qwen3-Max-Preview基础上引入思维链（Thinking）模式的升级版本。我们对这两个版本进行了全面的对比评测，测试其在准确率、响应时间、Token消耗和成本等关键指标上的表现差异。 Qwen3-Max-Preview-Think版本表现：* 测试题数： 约1.5万* …

蚂蚁健康与北京大学人民医院王俊院士团队联合发布全球首个大模型专病循证评测框架 蚂蚁健康与北京大学人民医院王俊院士团队历时6个多月，联合十余位胸外科医生共同打磨，发布了全球首个大模型专病循证能力的评测框架——GAPS （Grounding, Adequacy, Perturbation, Safety） ，及其配套评测集 GAPS-NSCLC-preview。…

近年来，多模态大语言模型正经历快速的范式转变，研究焦点转向构建能够统一处理和生成跨语言、视觉、音频等多种感官模态信息的全模态大模型。这类模型的目标不仅是感知全模态内容，更要将视觉理解与生成整合进统一架构，实现模态间的协同交互。 这一转变的驱动力源于真实物理世界的复杂性。人类自文明诞生以来，正是通过对视觉线索、听觉信号、空间动态等复杂多模态信息的持续观察、分析…

如今，大模型在理解、推理、编程等方面表现突出，但AI的“科学通用能力” （SGI） 尚无统一标准。 SGI强调多学科、长链路、跨模态与严谨可验证性，而现有基准仅覆盖碎片能力 （如学科问答、单步工具操作） ，难以反映真实科研中的循环与自纠错。为此，上海人工智能实验室通过引入实践探究模型 （PIM） ，将科学探究拆解为四个循环阶段，并与AI能力维度对应： 审思/…

1 参赛选手 本次评测共包含15个模型，均为近期更新版本（按发布时间排序）： 本月出榜模型：* GLM-4.6（后继版本：GLM-4.7）* MiniMax M2.1（后继版本：M2）* DeepSeek V3.2-Speciale（官方已下线）* Doubao-Seed-1.6 1015（后继版本：1.8）* DeepSeek V3.2-Exp（后继版本：…

国产 AI 大模型 MiniMax M2.1 正式发布。 本次更新在 Multi-SWE（多软件工程）领域实现了显著升级。它不仅让 Web 开发、App 开发以及 Rust、Go、Java 等核心技术栈的开发体验更为流畅，其全栈能力也得到了大幅增强。 一个突出的亮点在于其能力的均衡性。 此前许多 AI 模型，包括近期备受关注的 Gemini 3 Pro，往往…