大模型评测

评测盲区：为什么「能用」不等于「可用」？ 在大模型评测领域，我们有 MMLU 测知识、HumanEval 测代码、BFCL 测函数调用。但对于 Agent 系统，评测维度往往停留在「任务完成率」这个单一指标上。 这里存在一个评测盲区：我们很少评测 Agent 能力的「可迁移性」和「可工程化程度」。 举个例子：在 Claude Code 环境中，构建了一套完整…

月之暗面发布了 Kimi-K2.5-Thinking 新版本，官方称其为“Kimi迄今最智能的模型”，在Agent、代码、图像、视频及一系列通用智能任务上取得了开源state-of-the-art表现。我们对新旧两个版本（Kimi-K2.5-Thinking、Kimi-K2-Thinking）进行了全面的对比评测，测试其在准确率、响应时间、token消耗和成…

百度近期正式发布了原生全模态大模型ERNIE-5.0（文心5.0），这是一款参数达2.4万亿、采用原生全模态统一建模技术的旗舰级产品，支持文本、图像、音频、视频等多种信息的输入与输出。我们对ERNIE-5.0正式版与此前的ERNIE-5.0-Thinking-Preview版本进行了全面的对比评测，测试其在准确率、响应时间、token消耗和成本等关键指标上的…

百川M3 Plus以2.6%幻觉率与证据锚定技术，重塑医疗AI可信边界 AI正悄然成为许多人寻医问诊流程中的前置入口。然而，在严肃的医疗领域，不准确的建议甚至比没有建议更危险。因此，AI想要真正进入临床，必须翻越“信任”与“成本”两座大山。 百川智能最新发布的循证增强医疗大模型Baichuan-M3 Plus（以下简称M3 Plus）给出了极具诚意的答案。凭…

美团近期发布了LongCat-Flash-Thinking-2601模型，作为一款基于MoE架构的5600亿参数大型推理模型，官方宣称其在智能体任务上有显著提升。我们对该模型进行了全面评测，测试其在准确率、响应时间、Token消耗等关键指标上的实际表现。 LongCat-Flash-Thinking-2601版本表现：* 测试题数： 约1.5万* 总分（准确…

核心结论： 文心一言5.0正式版在预览版基础上进行了针对性打磨，整体可用性有所提升，在国产大模型中站稳了第二梯队的位置。其核心优势在于长链推理、多轮对话的稳定性，但算力消耗与上下文幻觉问题仍是主要挑战。 逻辑能力表现：注1：表格为突出对比关系，仅展示部分可对照模型，非完整排序。注2：题目及测试方式，参见《大语言模型逻辑能力横评（25年12月榜）》，新增#55…

中国团队首创医疗AI临床安全-有效性双轨评估标准CSEDB，获《npj Digital Medicine》收录 中国团队首次在全球顶尖期刊发表“大模型+医疗”领域的相关标准研究。 作为Nature体系中专注于数字医疗的旗舰期刊，《npj Digital Medicine》（JCR影响因子15.1，中科院医学大类1区Top期刊）此次收录的CSEDB研究，首次提…

最火世界模型，最火具身智能基建，联手了！ 前者，是李飞飞旗下的World Labs；后者，是一家炙手可热的仿真合成数据公司——光轮智能。 具身智能生态中最受关注的两家公司双刃合璧，原因无他，正是瞄准困扰行业已久的「规模化评测」问题，发起一波攻势。 而随着这波号角的吹响，也标志着具身智能正式迈入评测驱动时代。 在这个赛道上，光轮智能基于全栈自研仿真技术体系所构…

美团近期发布了LongCat-Flash-Thinking-2601模型，作为首个支持在线免费体验「重思考模式」的开源模型，其核心宣传点在于强大的工具调用能力。官方称其在智能体搜索、智能体工具调用、工具交互推理等关键评测中均达到了开源模型的SOTA水平。 核心评测结论： 三大亮点： 工具类网页完成度高：水印处理工具功能完整、交互流畅；复利计算器UI专业、图表…

在 AI 辅助编程工具的实际应用中，一个值得深思的现象正在浮现：用户对 Agent 的不满，往往不是因为它“做不到”，而是因为它“做得不对”。通过观察用户反馈，最高频的抱怨指向同一个问题：Agent 不遵循明确给出的指令。这些场景或许并不陌生——用户在系统提示中明确要求“不要使用 emoji”，Agent 却在代码注释里加上表情符号；用户要求“先备份再修改”…