大模型评测的演进之路：从静态指标到动态验证（2025）【Benchmarks解读】

在人工智能快速迭代的今天，大型语言模型（LLM）的能力边界不断拓展。从最初的文本生成，到如今的复杂推理、多模态理解、智能体协作，模型能力的跃升令人瞩目。然而，一个更为关键的问题浮出水面：我们真的知道如何准确衡量这些模型的能力吗？

评测基准的发展轨迹，恰恰映射着整个行业对“智能”理解的演进。本文将系统梳理当前大模型评测的全景图谱，分享在实践中的洞察，并探讨未来评测体系可能的演进方向。

评测演进的历史脉络

回顾大模型发展史，2017年Transformer架构的诞生标志着新时代的开启。从GPT系列、LLaMA系列到通义千问系列，模型参数量从数百万跃升至数千亿甚至万亿级别，能力维度也从单一任务扩展到多任务、多领域、多模态。

这种能力的指数级增长，对评测体系提出了前所未有的挑战。早期的GLUE、SuperGLUE等基准主要评测自然语言理解能力，而今天的评测需要覆盖MMLU的57个学科、BIG-Bench的数百项任务、GPQA的研究生级专业知识，甚至SuperGPQA涵盖的数百个高度专业化领域。

为什么评测如此重要？

在深入技术细节前，值得思考一个根本问题：评测的本质是什么？

评测不仅是给模型“打分”，更是定义模型发展方向的指挥棒。一个设计良好的评测体系，能够：

• 量化能力边界：客观呈现模型在不同维度的表现水平
• 指引优化方向：精准定位技术瓶颈，为算法改进提供依据
• 建立信任基础：通过标准化评测，为模型的实际应用提供可靠参考
• 推动行业共识：形成可比较的性能基准，促进技术交流与协作

然而，这个看似简单的目标，在实践中却面临诸多挑战。

评测体系的三大支柱

基于对主流评测基准的系统分析，我们将当前的评测体系归纳为三大类别，每一类都承载着不同的评测使命：通用能力评测、领域专长评测和特定目标评测。

一、通用能力评测：智能的“基本功”

通用能力评测关注模型的底层语言理解与推理能力。这类评测可以类比为对学生“基础学科”的考察。

1.1 语言核心能力的五个演进阶段

第一阶段：统一化评测的破冰（2018）

早期的自然语言理解系统面临“碎片化危机”——在特定任务表现出色，但无法跨领域迁移。GLUE的推出具有里程碑意义，它将9个不同的英语理解任务整合到统一框架，首次建立了多任务评测范式。

更重要的是，GLUE的诊断工具揭示了一个关键问题：许多模型依赖虚假统计线索和词汇重叠，而非真正理解句法结构。这一发现推动了更稳健模型的发展。

第二阶段：对抗性评测的崛起（2019）

当BERT在GLUE上超越人类表现后，研究人员意识到基准测试容易受数据集偏差影响。SuperGLUE应运而生，设计了更复杂的推理任务。

但更激进的变革来自HellaSwag、WinoGrande等对抗性基准。HellaSwag通过生成“语义合理但语用荒谬”的干扰项，设计出对模型困难但对人类简单的任务。WinoGrande采用AFLITE算法，对44,000个代词消歧问题进行去偏差处理，迫使模型正确处理回指现象。

这些创新将基准测试重新定义为主动的“对抗者”，通过动态演进测试模型对深层语言现象的理解。

第三阶段：多语言觉醒（2020）

GLUE和SuperGLUE的英语中心特点限制了评测范围。CLUE开启了中文自然语言理解评测，Xtreme将范围扩展到12个语系的40种语言，系统测试模型在不同类型学特性（形态学、词序）上的泛化能力。

研究发现，模型从英语等资源丰富的分析型语言迁移到形态丰富或黏着语时，性能会显著下降。MDIA等基准进一步将对话评测扩展到46种语言，强调在广泛形态句法和文化语境下评测模型的必要性。

第四阶段：生成范式转变（2019-2021）

随着生成式模型兴起，基于n元语法重叠的指标（如BLEU、ROUGE）被证明不足，无法捕捉语义等价性。

BERTScore利用上下文嵌入衡量语义相似性；BLEURT在650万个人工扰动句子对上训练，使其更符合人类对生成文本质量的判断；Bartscore将评测重构为条件语言建模任务，使指标与模型预训练目标对齐。

对话评测也出现创新：DynaEval采用基于图的建模方法，捕捉对话的连贯性和逻辑流；FaithDial评测对话系统对输入上下文的忠实性。

第五阶段：综合评测时代（2022至今）

静态基准难以跟上大模型快速扩展的能力。HELM提出“动态基准测试”概念，通过不断扩展场景，整合新兴语言维度——从跨语言鲁棒性到毒性检测。

BIG-Bench通过众包前沿任务（由442名研究人员共同创建的204项挑战），专门针对当前模型能力之外的领域，探测多步推理、隐喻解读、心智理论等复杂能力。

与此同时，“LLM-as-a-judge”的变革重新定义了开放式评测。MT-Bench和MT-Bench-101利用GPT-4对开放式对话进行评分，评测维度包括洞察力、适应性等。BiGGenBench为每个实例分配特定标准，通过实现上下文敏感评测克服粗粒度指标的局限。

1.2 语言评测的跨领域创新

基准测试的演进体现了几项根本性转变：

• 从静态到动态：HELM、BIG-Bench等现代框架通过不断纳入新任务，缓解基准饱和问题
• 从单语言到多语言：Xtreme、MDIA打破语言普遍性假设，将类型学多样性确立为核心鲁棒性探测手段
• 从单一指标到多维画像：“以大模型为评判者”范式将评测从准确率、F1值转变为多维度档案，评测连贯性、安全性、创造性等
• 对抗性过滤成为标配：HellaSwag、WinoGrande和合成数据注入（如BLEURT）成为应对数据集偏差的关键工具

1.3 评测范式的演进

早期范式以开放域问答为核心，如TriviaQA、NaturalQuestions，主要评测模型从给定文档中定位答案的能力。

MMLU的推出标志着关键转变，它通过57个学科领域的多项选择题（无外部上下文），将评测焦点完全集中在模型的参数化知识上，建立了严格的“闭卷考试”标准。

为应对MMLU性能饱和，后续基准不断突破难度边界：

• MMLU-Pro通过增加选项数量和推理密集型问题比例提高难度
• GPQA由领域专家设计“谷歌不可搜索”题目，直接解决模型依赖网络搜索而非内化知识的问题
• SuperGPQA将挑战提升到数百个高度专业化研究生领域

1.4 方法学格局的多元化

虽然表面上都是MCQA（多项选择题）形式，不同基准却展现出不同理念：

• 第一种是“以人为中心的对齐”路径。AGIEval、GAOKAO-Bench等直接从高风险人类考试（大学入学考试、职业资格考试）中选取题目，能更直观衡量模型能力与人类智力水平的相对关系。
• 第二种是细粒度分析方向。KoLA摒弃单一准确率分数，提出层级框架，将知识分解为回忆、理解、应用三个层次，实现更精准的能力画像。
• 第三种是综合多维度评测。HELM、BIG-Bench将知识评测整合到包含鲁棒性、公平性、校准度等的更广泛指标体系中，全面刻画模型行为。
• 第四种是多语言与多模态扩展。M3Exam、GAOKAO-MM、CMMMU标志着评测突破英语单语言、文本单模态范式的重要努力。

1.5 推理能力：从形式逻辑到应用场景

推理能力评测可能是最能体现“智能”本质的领域。文章将其分为三个层次。

逻辑推理：认知能力的基石

逻辑推理领域是评测中最成熟、最密集的领域。发展轨迹清晰可见：从测试离散演绎步骤的基础基准（如SimpleLogic），演进到评测高度复杂、多步骤甚至程序化推理的基准（如LogicPro包含54万个程序引导示例）。

这些基准的共性是依赖可控环境确保逻辑正确性的明确性。大多数数据集要么由人类编写（如FOLIO），要么通过合成生成（如LogicBench、ProofWriter），便于以准确率为主要指标的自动化评测。

各基准的独特性在于针对的特定逻辑层面：
* LogicNLI：验证自然语言陈述是否符合一阶逻辑规则。
* ZebraLogic、SATBench：解决约束满足谜题。
* ProofWriter：生成可验证证明。
* LLM_Compose、PrOntoQA-OOD：测试组合泛化能力。

若干关键趋势正在塑造未来：
* 向可扩展性与复杂性提升：LogicPro包含54万个示例，DebateBench设计复杂长上下文挑战。
* 向程序化、可验证推理发展：模型生成代码等结构化输出，通过执行验证，相比字符串匹配更稳健。
* 主要挑战：弥合形式逻辑与自然语言细微差别的鸿沟；准确率作为指标的脆弱性。

专业与常识推理：隐性知识的应用

这类基准标志着重要扩展，承认智能不仅需要形式逻辑，还需更细微的推理能力——这些能力是人类日常认知的基础。

• 因果推理：Corr2Cause、CLadder开创因果推理评测，是推动模型从识别相关性迈向理解因果关系的关键一步。
• 常识推理：StrategyQA、aNLI探测人类问题解决核心的隐性、多步骤溯因推理。
• 数学推理：从小学应用题（GSM8K）发展到高中竞赛题（MathQA），评测多步算术与代数推理能力。

新兴方向包括：
* AR-Bench：评测主动推理能力。
* IOLBENCH：测试语言规则归纳。
* ANALOGICAL：评测类比推理，采用马氏距离等专业指标。

应用与情境推理：现实任务的试炼场

这一类别代表所有推理形式的“试炼场”：复杂、嘈杂且实用的应用知识世界。这些基准评测模型将技能应用于解决多方面问题的能力，是对信息检索、整合、推理、合成全流程的综合评测。

• HotpotQA：要求模型定位并关联不同证据片段完成多跳推理。
• ARC：要求应用科学知识解决问题。
• BIG-Bench Hard：聚焦23个任务中的挑战性组合推理。

特别值得关注的是LiveBench，它使用实时私人用户查询构建动态挑战，从根本上抵御数据污染——这是静态基准面临的最严重问题之一。

二、领域专长评测：专业能力的试金石

通用能力是基础，但真正的应用价值往往体现在特定领域。领域评测关注模型在专业场景中的表现。

2.1 自然科学领域：严谨性的考验

数学评测呈现清晰的难度阶梯：
* GSM8K：小学阶段应用题，多步算术运算。
* MATH、JEEBench：高中及大学入学竞赛，涵盖代数、几何等复杂主题。
* U-MATH：大学本科数学问题。
* Omni-MATH、MiniF2F：奥林匹克竞赛题目与形式化定理证明。
* FrontierMath：由顶尖数学家设计，评测前沿高等数学问题解决能力，代表难度巅峰。

值得关注的评测创新：
* MATH-P：通过施加难度扰动测试鲁棒性与泛化能力。
* ASyMOB：聚焦大学阶段符号数学运算。
* U-MATH：引入“以大模型为评判者”评测方法，实现更细致评测。

数学评测面临的核心问题是“结果导向”局限：即使推理过程正确，微小计算错误可能导致得分为零。新评测范式正试图解决这一问题。

物理：多模态推理的必要性
物理问题不仅需要数学计算，还需深刻的概念理解，以及将抽象问题与物理定律关联的能力。

• SciBench：早期大学水平综合科学基准，涵盖化学、物理、数学，测试多步推理、科学概念理解、知识检索与复杂数值计算。

物理评测的独特性在于图表的不可或缺性：
* PhysUniBench：为每个问题配备相应图表。
* SeePhys：大部分问题设计为“视觉必需型”。
* PhysicsArena：引入细粒度多模态评测范式，包括变量识别、物理过程建模、推理求解三阶段。

UGPhysics的发现值得关注：擅长数学的大模型在物理任务上未必表现更优——物理推理远不止“数学应用题求解”，它要求概念关联、多模态解读、过程构建等独特综合能力。

化学：安全性与准确性并重
化学评测不仅关注传统解题能力，还扩展到事实准确性、文献理解、安全认知等关键领域：
* ChemEval：建立多层次评测体系，评测基础知识。
* ChemistryQA、ScholarChemQA：从化学文献与论文中提取问题，评测科学文本理解。
* MoleculeQA：构建大规模数据集，评测分子结构、性质等方面能力。
* ChemSafetyBench：构建包含3万多样本的测试集，系统评测模型在处理潜在危险化学知识时的安全性与责任感。

化学基准将“准确性”“安全性”等非技术、社会维度置于评测核心，重视程度远超数学与物理。这种差异源于各学科现实影响不同：错误的化学表述可能具有实际危险性。这表明，随着大模型评测涉足与现实世界联系更紧密的学科，“优秀模型”的标准已超越单纯解题能力，扩展到可靠性、可信度、伦理对齐等更广泛维度。

生物学：复杂网络中的推理
生物学评测主要聚焦科学文献理解能力，但正扩展到更专业、更深入的推理任务：
* PubMedQA等经典生物医学问答基准奠定基础。
* BioMaze：聚焦生物通路推理，要求理解并预测生物系统在基因变异、病毒感染、药物处理等干预下的下游效应。
* SciAssess：评测模型在真实科学研究场景中分析生物学文献的能力。
* AutoBio、BioProBench：引入新评测范式，通过开展生物学实验或评测实验方案，测试对实验标准的理解。

生物学的独特性在于其庞大、碎片化且常不完整的知识图谱。BioMaze强调，真正的生物学推理需要理解复杂网络——微小扰动可能引发级联式非线性生物连锁反应。该基准引入PATHSEEKER智能体，将大模型与生物知识图谱的结构化导航相结合，推动“图谱增强型大模型”成为生物学领域极具前景的发展方向。

跨学科与综合科学能力
真正的科学研究往往具有跨学科性质，因此出现了评测综合科学能力的基准：

• 综合问题解决类：
  • JEEBench：涵盖物理、化学、数学。
  • SciBench：覆盖物理、化学、数学、计算机科学。
  • GPQA：涵盖生物、物理、化学，由领域专家编写，设计为“谷歌不可搜索型”。
• 高阶推理与工具使用类：
  • TheoremQA：要求应用数学、物理等学科定理解决跨领域问题。
  • LLM-SRBench：聚焦从数据中发现方程。
  • SCITOOLBENCH：提供一系列API工具，要求模型调用工具解决复杂科学计算与推理任务。
• 整体科学能力类：
  • OpenBookQA、SciEval、SciKnowEval：从整体视角评测科学常识、多层次科学知识与研究能力。
  • CURIE：聚焦长篇科学文献文本理解。
  • GEO-Bench：利用地球监测数据，评测地理空间数据处理能力。

综合科学评测正从评测模型的静态知识储备，转向衡量其动态、过程导向的应用能力。随着通用模型朝着打造实用“研究助手”方向发展，评测也可能超越“解题”局限。构建能够评测科学研究能力的交互式环境至关重要，这类基准不仅能更全面衡量模型实用性，还将在推动人工智能在自然科学领域实现通用人工智能（AGI）突破方面发挥关键作用。

2.2 人文社会科学：人文关怀的检验场

社会科学作为最具人文关怀的领域，在大模型拟人化对话特性背景下发挥关键作用。一个核心问题是：大模型能否有效应对法律、知识产权、教育、心理学、金融等领域的现实挑战？

2.2.1 法律：从知识记忆到实践应用

法律任务分类呈现不同理念：
* 基于布鲁姆分类法的体系：
* LawBench针对中国司法领域提出三层次分类：（a）法律知识记忆、（b）法律知识理解、（c）法律知识应用，进一步细分为20个具体任务。

• LexEval 提出更细粒度的法律认知能力分类体系，包含六个维度：记忆、理解、逻辑推理、辨别、生成、伦理，涵盖23个任务。相比LawBench，LexEval纳入了法律演进与伦理考量（尤其涉及偏见、歧视、隐私），有助于评测模型是否能有效把握特定法律领域框架本质，且不引入内在偏见。

• 基于法律实践的体系：

  • LAiW 基于三段论分类体系（反映法律专家思维过程），将任务按难度分为：基础信息检索、法律依据推理、复杂法律应用。该基准除法律推理与案例理解外，还引入要素识别与命名实体识别任务，专门针对法律领域检索需求设计。

• 其他司法领域的基准：

  • LBOX OPEN：首个专门针对韩国司法领域的大规模法律基准，聚焦法律案例分析。
  • LegalBench：主要聚焦法律推理，包含162个任务，涵盖争议点识别、规则回忆、规则应用与结论、法规解释、修辞理解。

• 特定场景基准：

  • CiteLaw：评测模型能否生成具有适当引用的合法合规响应。
  • CaseGen：在中文司法领域提出自动化法律文档生成任务分类。

数据来源：
现实世界法律文档与案例是最重要数据来源。LBOX OPEN语料库来自韩国各级法院判例；多数基准依赖CAIL、LAIC等法律竞赛的现有数据集或公开法律语料库；LegalBench对CUAD数据集进行重构，为每种合同条款类型设计二分类任务。法律基准中数据集构建的最后一种方法涉及法律专业人员参与手动创建，这不仅提升数据集领域专业性，还降低数据泄露风险。

未来方向：
目前缺乏覆盖多语言或多司法领域的基准，而这类基准对评测多语言大模型至关重要。未来研究应构建更相关、更全面的任务分类（例如捕捉中美法律体系差异，或大陆法系与英美法系传统差异），考虑现实法律需求。此外，法律领域缺乏针对多模态场景的基准。

2.2.2 知识产权：法律与技术的双重属性

知识产权作为新兴领域，具有双重属性：法律属性与技术属性。在各类知识产权机制中，专利相关研究最为广泛。

专利生成与撰写：
* PatentEval 聚焦专利生成任务——尤其摘要生成与下一权利要求预测，引入全面的错误分类体系。
* D2P 根据用户草稿生成完整长篇专利文档，模拟现实专利申请场景，提出多智能体框架AutoPatent。

两者均聚焦评测大模型在知识产权领域的生成能力，要求模型不仅处理复杂技术术语与句子结构，还需符合知识产权文档特有的法律语言风格。

知识产权法律知识与技术内容处理：
* MoZIP：涵盖十种语言的多语言基准，包含三个任务：IPQuiz（知识产权测验）、IPQA（知识产权问答）、PatentMatch（专利匹配）。
* IPEval：聚焦专利法律层面，采用中英文双语专利代理人考试数据。
* IPBench：最全面的分类体系，包含四个层级（基于Norman L. Webb的知识深度理论DOK）：信息处理、逻辑推理、辨别评测、创新生成，在四个层级下包含20个细粒度任务，覆盖八种不同知识产权机制。

数据来源：
中国国家知识产权局(CNIPA)、美国专利商标局(USPTO)、欧洲专利局(EPO)提供专利访问API；谷歌专利数据集也提供相关语料库。IPEval采用各国标准专利代理人考试题目；MoZIP的IPQuiz与IPQA从全球知识产权组织与机构官方网站收集常见问题；IPBench借助大量专家标注构建符合现实应用需求的数据集。

未来方向：
所有这些基准均局限于文本模态，仅使用专利的文本部分；但专利中也包含图像，商标等领域涉及更丰富视觉信息。未来研究应聚焦整合与分类多模态知识产权任务，以实现更全面、更智能的知识产权服务。

2.2.3 教育：从知识考核到场景应用

知识水平评测：E-Eval 针对中国K-12教育，聚焦小学、初中、高中现实课堂场景，将任务分为文科（语文、英语、历史）与理科（数学、物理、化学）两类。

教育场景应用评测：EduBench 考虑教育领域实践性，涵盖九个核心教育场景与4000多个多样化合成教育任务。根据教学目标，任务分为两类：
* 面向学生场景：问题解决、纠错、思路启发、个性化学习支持、情感支持。
* 面向教师场景：题目生成、自动评分、教学材料生成、个性化内容创作。

与采用多项选择题形式的E-Eval不同，EduBench使用DeepSeek-V3作为评测者，从场景适配性、事实与推理准确性、教学应用三个维度评测大模型是否能实现教学目标与场景特定期望。

未来方向：
教育领域仍有待深入探索，研究人员需关注更细粒度教育场景，考察现实教学实践，包括整合多模态信息，探索如何更好利用大模型辅助教师备课、帮助学生有效学习并纠正知识漏洞，最终助力学生提升考试成绩、构建个人知识体系。

2.2.4 心理学：情感理解与人格属性

心理学知识与咨询能力：
* CPsyExam：通过中文标准考试，评测大模型对心理学概念理解能力，分类体系包含心理学知识与案例分析技能两种任务类型。
* CPsyCoun：评测人类与大模型间多轮对话，探索大模型能否有效应用于中文心理咨询场景，涵盖九个主题与七个经典心理咨询流派。
* Psycollm：基于中国权威心理咨询考试，采用单轮与多轮问答形式，评测职业道德、理论熟练度、案例分析。

心理属性与人格特征：
* Psychometrics Benchmark：引入衡量大模型心理属性的框架，涵盖六个维度 —— 人格、价值观、情感、心智理论、动机、智力。
* PsychoBench：聚焦大模型的人格、气质与情感，采用临床心理学中常用的十三种量表，分为四类——人格特质、人际关系、动机测试、情感能力。

这两个基准均采用基于场景的量表，量化模型的心理特征。

未来方向：
在这一与人类交互密切相关的领域，探索具体情境化实践至关重要。多语言基准测试仍存在空白。

2.2.5 金融：从文本分析到预测任务

• BBT-CFLEB：评测模型表现（尤其基于BERT的模型），数据主要由金融新闻与社交媒体内容构成。
• FLARE（原PIXIU）：专门为金融大模型设计，不仅包含自然语言处理相关任务，还涵盖股票走势预测等金融预测任务。
• FinEval：将金融知识与实践能力分为四类 —— 金融学术知识、金融行业知识、金融安全知识、金融智能体。

2.3 工程技术领域：功能正确性的严格考验

工程技术领域是大模型的“试炼场”，不仅测试语言流畅性，还要求逻辑严谨性、功能正确性与深厚专业知识。与通用任务不同，工程应用通常存在唯一正确答案或有限可接受解决方案。

2.3.1 软件工程与信息技术

软件开发与维护：
评测始于基础代码生成任务。HumanEval、MBPP确立了当前主流范式——通过自然语言提示评测函数级代码合成能力，以单元测试验证的功能正确性（pass@k）作为主要指标。

初始焦点迅速扩展：
* APPS、USACO 引入编程竞赛题目，要求更高级算法推理能力。
* LiveCodeBench 及其专家级后续版本 LiveCodeBenchPro 率先采用实时进行中的竞赛题目，确保模型在真正未见过的数据上接受评测，解决基准污染问题。
* ClassEval 首次专门针对类级生成任务，评测面向对象编程技能。
* DS-1000 针对数据科学库，BioCoder 针对生物信息学，MMCode 向模型提出包含图表等视觉信息的多模态问题。

代码理解与补全：
CodeXGLUE、xCodeEval等综合框架提供涵盖代码摘要、翻译、检索的任务套件。CodeQA聚焦代码问答，Cosqa聚焦大规模语料库中的代码搜索。Repobench模拟开发者IDE体验的仓库级代码补全。

代码维护与修复：
自动程序修复是核心焦点：
* RepairBench 提供修复任务集合。
* SWE-bench 直接从热门开源项目的真实GitHub问题与拉取请求中获取任务，实现极高现实性。

2.3 工程能力评测

工程能力评测旨在评估大模型在解决实际工程问题、生成可执行代码与设计方面的能力，其核心是基于执行的验证。

2.3.1 软件工程

软件工程评测已从通用代码补全，演进为对复杂、专业化任务的评估。

• 代码生成与补全：

  • HumanEval、MBPP：评估基础函数级代码生成能力的经典基准。
  • SWE-bench、LiveCodeBench：评测模型解决真实世界软件工程问题（如修复GitHub Issue）和持续编码的能力。

• 代码理解与调试：

  • DebugBench、Condefects：聚焦于代码调试与缺陷定位能力。

• 精确代码编辑：

  • CanItEdit、CodeEditorBench：评测模型根据自然语言指令进行精确代码编辑（如重命名、重构）的能力。

• 代码效率：

  • COFFE、EffiBench：衡量生成代码在时间与空间上的效率，关注非功能需求。

• 数据库系统与开发运维：

  • 文本到SQL翻译：
    • Spider：评测复杂跨域SQL查询的公认标准。
    • Spider 2.0、BIRD：通过整合更真实的企业工作流与基于值的查询，提高任务难度。
    • CoSQL、SParC：评测扩展到包含会话上下文，要求模型理解多轮对话。
    • Dr. Spider：测试模型应对数据库模式扰动的鲁棒性。
    • DuSQL：支持多语言查询。
  • 系统管理与开发运维：
    • NL2Bash：评测自然语言到Shell命令的翻译能力。
    • IaC-Eval：评估云服务基础设施即代码的生成能力。
    • OpsEval、OWL：评测更广泛的AIOps问题解决能力。
    • FrontendBench：评估交互式网页用户界面代码的生成能力。

2.3.2 专业工程学科

评测范围已扩展至电气、机械、航空航天等硬核工程领域。

• 电气与电子工程：

  • 芯片设计自动化是核心焦点：
    • VerilogEval、RTLLM：评测生成硬件描述语言（如Verilog）的能力，并通过仿真验证功能正确性。
    • ResBench：衡量FPGA资源利用率。
    • FIXME：提供端到端设计验证框架。
    • CIRCUIT：评测模拟电路设计能力。
    • PICBench：覆盖光子电路这一细分领域。
    • ElecBench：评测大模型在复杂电力调度与故障诊断任务上的表现。

• 机械与制造工程：

  • CADBench：评测计算机辅助设计软件脚本生成能力。
  • LLM4Mat-bench、MSQA：通过预测材料化学属性与展示研究生级推理能力，评测大模型加速材料发现的能力。

• 航空航天与交通工程：
  作为安全关键领域，已开发专门基准：

  • AeroManufacturingQA：评测航空制造流程专业知识。
  • RepoSpace：评测卫星系统仓库级代码生成能力。
  • Aviation-Benchmark：涵盖十多项特定航空任务的广泛评测。

2.3.3 工程评测的未来方向

工程领域推动了大模型一些最严格、以功能为基础且基于执行的评测方法发展。明显趋势是评测从孤立函数级技能，逐步转向模拟完整工程工作流的复杂系统级问题。

未来研究必须优先关注：
* 整体工程工作流评测：整合从需求分析、高层设计到实现、验证与长期维护的全流程任务。
* 安全、可靠性与安全性标准化协议：尤其对于故障可能导致灾难性后果的领域。
* 动态且抗污染的基准：确保评测对日益强大的模型仍是真正的泛化能力测试。
* 人机协作评测框架：衡量效率提升、错误减少、信任校准等指标。

三、特定目标评测：可靠性的守护者

如果说前两类评测关注“能做什么”，特定目标评测则关注“是否安全可靠”。这类评测在模型走向实际应用的过程中，扮演着“质检员”的角色。

3.1 风险与可靠性评测

随着大模型从研究原型转向现实世界部署（尤其在医疗、法律、财务等高风险场景），其强大能力背后潜藏着同等重大的现实风险。幻觉、偏见输出、对抗性攻击易感性、隐私泄露等问题已可能对用户和社会造成切实影响。

风险与可靠性评测的核心目标包括：
* 识别与量化：系统探测大模型各类负面影响模式并量化其发生频率与严重程度。
* 风险缓解：利用基准揭示的弱点，推动开发者改进技术。
* 期望对齐：验证模型行为是否符合预设伦理原则、法律边界与安全要求。
* 建立与维护信任：为用户、监管机构与社会提供关于风险的严谨、可复现证据。

3.2 安全性评测

大模型在预训练后需通过安全对齐平衡有用性与无害性。然而，确保无害性往往需要对输出施加严格约束，这与其深度指令遵循能力形成根本冲突。

• 早期安全评测的局限与突破：

  • HateCheck、StereoSet、CrowS-Pairs：主要依赖预定义有害场景与静态测试案例，覆盖范围有限。
  • ToxiGen：利用大模型生成大规模对抗性与隐性有害内容（样本量达27.4万），显著提升测试集规模与复杂性。
  • Do-NotAnswer：建立涵盖医疗、犯罪等八类敏感话题的标准化测试框架，填补中文语境安全评测空白。

• 对抗性安全评测：

  • JailbreakBench：系统整合百余种对抗性提示技术（如角色扮演、逻辑利用），诊断模型漏洞。
  • SG-Bench：引入跨任务安全泛化评测框架，测试模型对未见过攻击模式的稳健性。
  • AnswerCarefully：扩展到日语语境，提供符合文化规范的精心设计问答对。

• 现代综合性安全评测：

  • HarmBench：引入首个自动化红队测试与稳健拒绝评测标准化框架，涵盖文本与多模态场景下的510种独特有害行为。
  • HEx-PHI：强调微调可能引入安全风险，基于主流使用政策构建红队提示数据集。
  • SimpleSafetyTests：提供轻量级测试套件，涵盖自残、诈骗等五类高风险领域。

• 真实世界交互安全评测：

  • ToxicChat：引入来自真实用户-AI对话的毒性标注样本，包括捕捉隐藏对抗性尝试的指标。
  • In-the-wild Jailbreak Prompts：系统研究从网络收集的越狱提示，发现对主流模型具有高攻击成功率。
  • SORRY-Bench：聚焦安全拒绝评测，提供细粒度分类体系并测试跨语言与格式鲁棒性。

3.3 幻觉评测

当前大模型的幻觉问题主要分为两类：事实幻觉（输出与可验证事实矛盾）与忠实性幻觉（输出偏离用户指令或输入上下文，缺乏内部逻辑一致性）。

• 幻觉成因：

  • 数据层面：错误信息、领域鸿沟、知识过时、罕见知识回忆与推理缺陷。
  • 训练层面：单向注意力对上下文捕捉不足、自回归训练与推理错配、对齐阶段能力或信念错配。
  • 推理阶段：解码策略引入的随机性、架构约束（如注意力局部性）。

• 多样化幻觉评测：

  • 事实幻觉评测：
    • TruthfulQA：识别模型模仿人类常见误解的幻觉。
    • FActScore：通过将输出分解为原子事实并对照外部知识源验证，评测长文本生成的事实依据。
    • REALTIMEQA：聚焦过时知识导致的幻觉，测试模型对体育、金融等动态实时信息的适应能力。
  • 忠实性幻觉评测：
    • FaithBench：检测摘要是否引入源文本中不存在的信息。
    • DiaHalu：针对多轮对话中的上下文矛盾，识别因果断裂、实体不一致等问题。
    • FaithDial：评测对话系统对输入会话上下文的忠实性。
  • 领域特定或对抗性幻觉评测：
    • MedHallu：解决医疗生成任务中的幻觉问题，确保与可信临床知识对齐。
    • FreshQA：通过探测最新世界知识，评测模型知识新鲜度。
    • FACTOR：引入对抗性条件（如冲突提示），测试模型实时抵抗并纠正事实错误的能力。
    • FactCheck-Bench：整合模型生成与人工整理样本，衡量事实核查准确性。

• HaluEval及HaluEval2.0：大规模数据集，广泛覆盖摘要、对话、问答等领域，支持大规模幻觉率基准测试。

持续挑战：

• 缺乏统一评测框架导致覆盖范围分散。
• 长文档连贯性幻觉仍难以检测。
• 区分主观判断与可验证事实时，定义模糊性问题依然存在。

3.4 鲁棒性评测

大模型的快速发展显著提升了自然语言处理系统能力，但在面对对抗性输入、分布偏移或细微提示变化时，常表现出脆弱性。

鲁棒性的多个维度：

• 对抗性鲁棒性：评测模型对蓄意设计的误导性输入的抵抗能力。
• 指令遵循鲁棒性：衡量模型在处理多样或复杂指令时的一致性与准确性。
• 提示鲁棒性：测试模型对提示措辞或结构细微变化的敏感性。
• 工具使用鲁棒性：确定模型在需要外部工具整合或多步推理场景中的稳定性。

代表性鲁棒性评测：

• AdvGLUE：较早系统性评测对抗性鲁棒性的基准，将14种文本对抗性攻击方法应用于GLUE任务，揭示最先进模型的显著性能下降。
• BOSS：通过评测模型在特定分布上训练后面对不同分布数据的表现，解决分布外鲁棒性问题。
• IFEval：聚焦指令遵循能力，提供一系列要求模型遵循特定指令的任务。
• CIF-Bench：将评测扩展到多语言语境，通过中文指令遵循评测测试模型零样本泛化能力。
• PromptRobust：研究提示变化对模型输出的影响，证明提示措辞细微变化可能显著影响性能。
• RoTBench：通过评测模型在不同噪声与复杂度环境下的表现，探索工具使用场景中的鲁棒性。

未来方向：

1. 开发标准化评测协议。
2. 创建支持更多语言与模态的基准。
3. 将鲁棒性评测整合到模型开发生命周期中。

3.5 数据泄露评测

大模型广泛部署引发对数据泄露的重大担忧，尤其是个人身份信息（PII）等敏感信息的无意披露。这一问题源于大模型在大规模语料上的预训练过程——这些语料可能包含敏感数据，导致模型记忆并在推理阶段潜在复现此类信息。

代表性数据泄露评测：

• WikiMIA：聚焦单语言数据泄露，使用最小k%概率作为泄露指标评测分类性能，基于开放数据集且包含个人身份信息。
• KoLA：将分析扩展到双语语境，基于混合数据集（不含显式个人身份信息）评测生成模型准确率。
• C2LEVA：提供大规模双语基准，整合分类与生成任务，使用平均胜率作为衡量泄露的主要指标，并将个人身份信息纳入评测范围。

这些基准反映了研究界对大模型隐私风险多维度本质的日益认可，凸显了超越传统性能指标评测模型的必要性。

数据泄露分类维度：

• 泄露率。
• 模型暴露个人身份信息的倾向。
• 模型检测与管理敏感数据的能力。

3.6 智能体评测

大模型智能体是基于基础大模型构建的自主系统，旨在超越静态提示-响应交互，实现目标驱动行为。通过整合规划模块、工具使用能力、记忆系统与观察循环，这些智能体能够将复杂目标分解为可执行步骤，与外部环境动态交互，并迭代调整策略直至任务完成。

智能体评测的四个关键维度：

（1）特定能力评测

聚焦对规划、推理、竞争等单项功能，以及工具使用、外部控制等执行能力的细粒度评测。

规划与推理能力：

• FlowBench：评测智能体如何利用工作流知识执行结构化领域特定规划。
• Robotouille：聚焦异步规划，要求智能体在长期任务中处理延迟效应与重叠动作。
• LLF-Bench：关注智能体通过迭代语言反馈实现自我改进的能力。
• WebWalkerQA：考察智能体在层级化网页结构上的推理能力。

外部控制与工具使用能力：

• SPA-Bench、Mobile-Bench：评测大模型智能体在移动设备控制上的表现，任务涵盖单应用操作到多应用协作。
• BrowseComp：将评测扩展到网页环境，衡量智能体通过持续工具介导浏览获取难以查找信息的效果。

多智能体协作与竞争：

• MultiAgentBench：考察智能体在不同拓扑结构与任务中的协作表现。
• MAgIC：整合社交推理游戏与博弈论场景，探测智能体的欺骗、自我意识与判断能力。
• ZSC-Eval：引入零样本协作挑战，要求智能体在协作环境中泛化到新伙伴。

（2）综合能力评测

聚焦评测大模型智能体如何协调多种能力，如推理、规划、工具使用、记忆、交互，以解决复杂多步任务。

类游戏或具身环境评测：

• SmartPlay：使用河内塔、Minecraft等多样化游戏，分解并评测智能体九项核心能力。
• BALROG：在需要规划、空间推理与探索的复杂游戏中，同时评测大模型与视觉语言模型。
• Embodied Agent Interface：为具身任务提供统一框架，评测智能体在目标解读、动作序列、过渡建模等子任务上的表现。

现实任务环境模拟：

• τ-bench：在包含领域特定规则的多轮工具增强对话中评测智能体，衡量目标满意度与行为一致性。
• TravelPlanner：通过大规模旅行沙盒测试复杂现实规划，评测工具使用、信息整合与约束处理能力。
• GAIA：提供需要通用网页搜索、多模态感知与稳健推理的问题，目标是实现人类水平通用能力表现。
• AgentQuest：引入模块化基准框架，配备可扩展指标，诊断智能体在多步任务中的进展与故障模式。

多轮交互与协作推理：

• SWEET-RL：聚焦前端设计等多轮协作任务，使用分步奖励系统优化智能体行为。
• ColBench：为与人类协作者的现实往复问题解决提供支持。
• AgentBench、AgentBoard：在多个领域提供大规模评测环境，整合多轮规划、决策与错误跟踪。
• CharacterEval：为中文语境下的智能体评测增加角色扮演维度，测试连贯性、人格一致性与长期对话管理能力。

（3）领域熟练度评测

聚焦智能体应用专业知识、遵循领域特定流程、精准完成专业任务的能力。

工作场所与生产力场景：

• TheAgentCompany：评测智能体在浏览、编码、团队内部沟通等现实办公任务上的表现。
• OSWorld：提供可扩展的交互式操作环境，评测智能体在跨平台开放式计算机任务上的能力。

数据科学与科学研究：

• Tapilot-Crossing：基准测试交互式数据分析能力。
• ScienceAgentBench、SciReplicate-Bench：评测智能体生成与复现科学代码的能力。
• MLGym-Bench：聚焦从假设生成到模型评测的端到端AI研究任务。

专业领域应用：

• InvestorBench：在多样化金融工具与市场场景中评测智能体。
• BixBench、AgentClinic：分别测试智能体在长期生物信息学任务与多模态约束下临床决策中的表现。
• CourtBench：衡量经过对抗性进化的律师智能体在模拟法庭审判中的法律推理、认知敏捷性与论证严谨性。

（4）安全与风险评测

关注大模型智能体在对抗性、恶意或故障场景下的稳健性。

对抗性脆弱性与攻击抵抗：

• Agent Security Bench（ASB）：提供涵盖广泛现实场景、智能体与攻击类型的综合框架，揭示智能体在提示处理、记忆、工具接口等组件中的显著弱点。
• AgentHarm：聚焦智能体误用，通过在欺诈、网络犯罪等领域引入有害任务提示，发现许多主流智能体会遵守恶意请求。

具身与任务执行环境中的安全性：

• SafeAgentBench：评测智能体在交互式模拟中能否识别并避免危险指令，结果显示当前智能体普遍缺乏拒绝不安全计划的能力。
• R-Judge：将焦点转向风险判断，评测智能体能否从交互记录中识别安全问题。

综上，这些基准表明，大模型智能体在对抗性操纵与操作风险面前仍高度脆弱。提升其安全性需要更深入整合风险建模、危险检测与行为保障机制。

3.7 其他特定目标评测

除风险可靠性与智能体评测外，还有一系列从独特人文视角评测大模型的基准，涵盖文化适应性、情感智能、价值对齐、现实任务执行、多模态技术能力等领域。

文化智能与社会适应性：
* CDEval：通过涵盖六个文化维度、七个领域的2953个样本，开展多语言多项选择测试。
* NORMAD-ETI：利用来自75个文化背景的2600个分类任务，评测叙事适应性。
* SocialStigmaQA：通过10000个多项选择样本，考察93个社会污名话题上的偏见放大效应。

情感理解与人际交互：
* EmotionQueen：在10000个生成任务中，评测模型对隐性情感的识别与情感响应的恰当性。
* PET-Bench：通过7815个虚拟宠物陪伴场景，测试情感支持与记忆一致性对话能力。

价值对齐、推理稳健性与安全平衡：
* OR-Bench：通过分析80000个过度拒绝案例，衡量拒绝与接受之间的平衡。
* FLUB：在834个样本上测试逻辑谬误识别能力。
* JudgeBench：在350个多项选择题上评测基于大模型的评判者的一致性。

模拟现实任务：
* Shopping MMLU：利用14683个多语言混合任务，衡量电子商务场景中的推理、行为建模与推荐性能。
* TP-RAG：在2348个旅行规划任务上，评测行程设计、目的地匹配与日程安排准确性。
* DOCBENCH：包含1102个文档阅读理解任务。
* LLM-Evolve：在23000个扩展任务上跟踪能力演进。
* SUC：包含255000个结构化数据理解任务。
* VisEval：在2524个表格可视化输出上，评测有效性、合法性与可读性。

技术与多模态扩展：
* ROUTERBENCH：在405467个任务上评测路由策略。
* GAME COMPETITIONS：通过2310个游戏模拟，利用胜率、平局率、disqual率衡量策略推理能力。
* RTLLM 2.0：针对硬件设计的RTL代码生成。
* AD-LLM：在190000个分类任务上测试异常检测。
* ZIQI-Eval：在14000个多项选择题上评测音乐理解与生成能力。

四、当前评测面临的三大挑战

在系统梳理评测体系后，必须正视几个亟待解决的问题。

挑战一：数据污染导致的“虚高分数”
这可能是当前最严重的问题。当训练数据中包含测试集信息时，模型的高分可能只是“背答案”的结果，而非真实能力的体现。

问题根源：
* 随着模型在不断扩展的网络规模数据集上训练，基准测试题目进入训练数据的概率增加，可能导致分数虚高，损害评测有效性。

应对策略正在演进：
* 动态更新：LiveBench等基准持续引入新题目。
* 私有测试集：GPQA等采用“谷歌不可搜索”的专家级题目，SuperGPQA将挑战提升到数百个高度专业化领域。
* 污染检测：WikiMIA、C2LEVA等工具专门识别数据泄露。

但根本解决方案可能需要行业共识，建立更严格的数据使用规范，在训练与测试数据之间建立明确边界。

挑战二：文化与语言偏见引发的不公平评测
大多数评测基准基于英语和西方文化背景构建，这对其他语言和文化的模型可能不公平。

问题表现：
尽管多语言覆盖范围有所扩大，但跨语言不平等问题依然根深蒂固——类型学偏差继续扭曲性能衡量，分析型语言与黏着语之间的形态句法差异导致系统性评测缺口。Xtreme、MDIA等基准表明，浅层语言标记无法捕捉作格性、元音和谐等结构现象，使得语言多样性沦为评测框架中的元数据，而非嵌入式变量。

期待看到：
* 更多多语言、跨文化的评测基准。
* 针对不同语言特性（如形态丰富度、语序差异）的专门设计。
* 对文化规范敏感性的系统评测。
* 构建跨司法管辖区评测任务分类（如各国法律比较、识别跨体系差异的任务）。

挑战三：缺乏对“过程”与“动态性”的评测
传统评测过度关注最终答案，忽视了推理过程。而且，静态数据集难以捕捉真实世界的动态性。

问题表现：
* 封闭式评测的方法学局限：多项选择题（MCQA）格式虽具可扩展性，但无法评测模型生成连贯解释、整合信息或承认不确定性的能力。
* “LLM-as-a-judge”的自指性陷阱：当GPT-4等前沿模型评测对话深度或指令保真度时，可能会循环验证自身生成模式，优先考虑“熟悉度”而非真实能力。
* 静态评测与文化偏差问题相互交织：大多数基准仅代表特定时间点的知识快照，且往往带有浓厚的西方英语中心视角。

未来方向可能包括：
* 过程评测：不仅看结果，还要评测推理链的逻辑性与可信度。U-MATH的MARJ框架、“以大模型为评判者”等方法正试图克服这一局限。
* 交互式评测：在持续对话与任务执行中评测模型行为。AR-Bench、TextGames开创的方向值得深入探索。
* 实时评测：测试模型对最新信息的响应能力。LiveBench使用实时私人用户查询，从根本上抵御数据污染。
* 建立对抗性审计框架：以及由领域微调的专业评判者组成的集合，在保持人类对齐的同时确保评测多样性。

五、面向未来：评测体系的演进方向

基于对当前格局的分析，文章认为评测体系将朝以下方向演进：

从静态到动态：建立持续演进的评测生态
未来的评测不应是一次性的“考试”，而应是持续的“体检”。模型能力会演进，评测也应同步更新。
HELM的“动态基准测试”（Living Benchmark）概念，BIG-Bench通过众包前沿任务的模式，都为这一方向提供了有益探索。构建动态任务采样机制，确保评测可及性与语言多样性同步扩展，是未来重要方向。

从孤立到生态：构建综合评测框架
单一评测难以全面刻画模型能力。需要构建评测生态系统，不同基准相互补充，形成完整的能力画像。
这要求：
* 开发统一评测框架，整合不同风险维度，确保各基准间的可组合性与可比性。
* 超越以英语为中心的评测，支持低资源语言与多样化文化语境。
* 开发标准化评测协议，将评测整合到整个模型开发生命周期中。

从技术到价值：嵌入社会责任意识
评测不能仅关注技术指标，还应考量社会影响。安全性、公平性、可解释性等维度应成为评测的必选项，而非可选项。
这体现在：
* 化学领域的ChemSafetyBench系统评测模型在处理潜在危险化学知识时的安全性。
* 法律领域的LexEval纳入伦理考量（尤其涉及偏见、歧视、隐私）。
* 心理学领域评测模型能否真正理解人类情感，而非仅依赖拟人化对话。
* 隐私审计与编辑能力必须嵌入训练与推理全流程，推动大模型安全评测从模型层面扩展到系统层面。

从模型到系统：扩展评测边界
随着模型嵌入复杂系统，评测范围需从“模型本身”扩展到“模型+环境”。这要求我们开发能够评测人机协作、多智能体交互的新框架。
具体包括：
* 评测整体工程工作流的基准，整合从需求分析、高层设计到实现、验证与长期维护的全流程任务。
* 开发评测人机协作的框架，衡量效率提升、错误减少、信任校准等指标，而非仅孤立评测AI。
* 智能体评测从特定能力、综合胜任力、领域熟练度到安全稳健性的全方位覆盖。
* 将评测从“模型能做什么”转向“模型应如何负责任地表现”。

新兴挑战与应对方向
随着大模型能力边界不断拓展，新挑战不断涌现：
* 长上下文连贯性、多轮一致性、最新知识整合等新挑战，要求更复杂的评测协议。
* 攻击策略日益复杂，凸显了交互式对抗建模与持续红队测试的需求。
* 动态实时评测变得越来越重要——大模型必须证明其在金融、医疗、时事等领域对时间敏感且不断演变信息的准确响应能力。
* 资源不对称的阴影从根本上损害基准完整性。HELM的计算负担、MDIA在低资源语言上的数据稀缺性，导致评测排斥现象持续存在。这违背语言公平性原则——评测可及性必须与语言多样性同步扩展。

六、结语：在技术严谨与实用价值间寻求平衡

评测的终极目标不是给模型打分，而是确保技术安全、可靠地服务人类需求。

从GLUE到HELM，从单一任务到多维度评测，从静态数据集到动态基准，评测体系的演进反映了我们对“智能”理解的深化。但更重要的是，评测不仅是技术问题，更是价值选择。

在设计评测时，必须始终保持两个视角的平衡：

• 技术视角：追求科学严谨，确保评测结果可信。
• 应用视角：关注实际价值，确保评测与真实需求对齐。

作为评测领域的从业者，我们深知这条路充满挑战：

• 如何在保持评测严谨性的同时，避免过度复杂化？
• 如何在追求全面覆盖的同时，保持评测的可操作性？
• 如何在强调技术能力的同时，不忽视伦理与社会责任？

但我们也相信，只有建立科学、全面、动态的评测体系，才能为大模型技术的健康发展提供可靠保障。

评测体系的未来属于那些能够回答以下问题的框架：

• 这个模型不仅强大，而且安全吗？
• 它不仅准确，而且可靠吗？
• 它不仅高效，而且公平吗？
• 它不仅智能，而且值得信赖吗？

这些问题的答案，将决定人工智能技术能否真正惠及社会。

随着大模型融入社会技术系统，评测必须从衡量“模型能做什么”转向“模型应如何负责任地表现”。未来基准需要具备动态性（以匹配模型演进）、因果性（以解释结果）、包容性（以避免偏见）与稳健性（以预测风险）。实现这一目标，需要跨学科协作，使技术严谨性与社会价值保持一致。

关注“鲸栖”小程序，掌握最新AI资讯