评测基准

在 AI 辅助编程工具的实际应用中，一个值得深思的现象正在浮现：用户对 Agent 的不满，往往不是因为它“做不到”，而是因为它“做得不对”。通过观察用户反馈，最高频的抱怨指向同一个问题：Agent 不遵循明确给出的指令。这些场景或许并不陌生——用户在系统提示中明确要求“不要使用 emoji”，Agent 却在代码注释里加上表情符号；用户要求“先备份再修改”…

点外卖时想让 AI 帮你筛选出符合口味、价格合适、配送及时的餐厅；规划旅行时希望它能一站式搞定机票、酒店、餐厅预订——这些看似简单的需求，对当前的大模型智能体而言，却是一道难以逾越的门槛。 美团 LongCat 团队近日发布的 VitaBench（Versatile Interactive Tasks Benchmark）评测基准，给出了一组值得深思的数据：…

当我们投入大量资源对多模态AI模型进行复杂评测时，是否想过其中有多少环节其实是在“原地打转”？ 最近，上海人工智能实验室联合上海交通大学、浙江大学的一项研究揭示了一个值得警惕的现象：当前主流的多模态大模型基准评测中，普遍存在着大量冗余。研究团队对超过20个主流多模态基准和100多个模型进行了系统性扫描，发现了一些颇具启发性的规律。 这意味着什么？简单来说，我…

在人工智能快速迭代的今天，大型语言模型（LLM）的能力边界不断拓展。从最初的文本生成，到如今的复杂推理、多模态理解、智能体协作，模型能力的跃升令人瞩目。然而，一个更为关键的问题浮出水面：我们真的知道如何准确衡量这些模型的能力吗？ 评测基准的发展轨迹，恰恰映射着整个行业对“智能”理解的演进。本文将系统梳理当前大模型评测的全景图谱，分享在实践中的洞察，并探讨未来…