大模型评测

OpenAI近期发布了GPT-5.1新版本，主打更自然的对话体验和情感共鸣能力。值得注意的是，官方此次并未公布传统基准测试结果，而是强调“优秀的人工智能不仅应该是聪明的，而且应该提供令人愉快的交谈”。我们对GPT-5.1（默认非思考模式）与此前的GPT-5进行了全面对比评测，测试其在准确率、响应时间、token消耗和成本等关键指标上的表现差异。 GPT-5.…

月之暗面近期发布了Kimi-K2-Thinking模型，这是基于“模型即Agent”理念训练的新一代Thinking Agent，原生掌握“边思考，边使用工具”的能力。作为一款MoE架构模型（每次激活32B参数），我们对其与基础版本kimi-k2-0711-preview进行了全面的对比评测，测试其在准确率、响应时间、token消耗和成本等关键指标上的表现差…

在大模型技术快速迭代的今天，我们面临一个共同的挑战：如何客观、全面地评测一个模型的真实能力？ 这不仅关乎技术指标的高低，更涉及模型在实际应用中能否真正解决问题。 大模型评测框架正是为了回应这一需求而生。目前主流框架已形成开源平台、商业工具和学术研究框架三大阵营，各自在评测深度、应用场景和技术侧重上展现出明显差异。值得关注的是，评测正从单一维度的“跑分”走向多…

在大模型应用开发中，我们常面临这样的困境：系统上线后，实际表现却未达预期。问题根源何在？如何有效改进？答案往往隐藏在一个至关重要却容易被忽视的环节——评测。 市面上大模型评测工具众多，宣传语诸如“自信交付你的LLM”、“告别猜测游戏”令人眼花缭乱。但究竟什么样的工具才能真正解决问题？ 设想一个真实场景：你开发了一个用于自动化处理工作流的大模型应用，投入使用后…

在人工智能快速迭代的今天，大型语言模型（LLM）的能力边界不断拓展。从最初的文本生成，到如今的复杂推理、多模态理解、智能体协作，模型能力的跃升令人瞩目。然而，一个更为关键的问题浮出水面：我们真的知道如何准确衡量这些模型的能力吗？ 评测基准的发展轨迹，恰恰映射着整个行业对“智能”理解的演进。本文将系统梳理当前大模型评测的全景图谱，分享在实践中的洞察，并探讨未来…

2024年初，最先进的AI模型仅能解决不到2%的真实世界编程问题。如今，这一数字已飙升至72.8%。实现这一革命性突破的关键，是普林斯顿大学与芝加哥大学联合发布、发表于ICLR 2024的基准测试——SWE-bench（《SWE-bench: Can Language Models Resolve Real-World GitHub Issues?》）。 一…

智谱AI近期发布了GLM-4.6新版本。根据官方介绍，相比GLM-4.5，新版本带来了多项关键改进：上下文窗口从128K扩展至200K tokens，以支持更复杂的智能体任务；代码性能显著提升；推理能力增强，支持在推理过程中调用工具；智能体能力更强，尤其在工具使用和搜索型任务方面表现出色；写作风格也更贴近人类偏好。 在这场激烈的竞争中，GLM-4.6交出了一…

腾讯近期发布了混元turbos系列的最新迭代版本 hunyuan-turbos-20250926。官方介绍称，新版本在预训练底座数据质量和后训练（post-train）策略上实现突破，旨在持续提升Agent、英语小语种、指令遵循、代码及理科能力。数据显示，其理科类能力平均提升10.9%（数学提升13.8%，逻辑推理提升12.3%），文科类写作、指令遵循、知识…

自 Kimi K2 发布以来，Kimi开放平台收到了大量关于模型 ToolCall（工具调用）可靠性的反馈。我们观察到，这些反馈背后的主要原因是，不同 API 服务商采用的 Kimi K2 推理方案在 ToolCall 性能上存在显著差异。 用户在选择 API 服务商时，往往优先考虑延迟和成本，却可能无意中忽略了更微妙却关键的模型精度差异。 因此，Kimi开…