基准测试
-
视觉压缩革命：DeepSeek-OCR与VTCBench如何重塑长文本理解的未来？
DeepSeek-OCR 提出的视觉文本压缩（Vision-Text Compression, VTC）技术，通过将文本编码为视觉 Token，实现了高达 10 倍的压缩率，显著降低了大模型处理长文本的计算与显存成本。然而，一个核心问题随之浮现：视觉语言模型（VLM）能否真正理解这种高度压缩后的高密度信息？ 为了系统性地评估模型在视觉压缩范式下的认知能力，来…
-
突破RISC-V迁移瓶颈：首个RVV适配基准揭示LLM代码迁移潜力，20%通过率提升方案开源
关键词： RISC-V Vector Intrinsic、Code Migration、Benchmark、Large Language Model、Intrinsic Code VecIntrinBench: Benchmarking Cross-Architecture Intrinsic Code Migration for RISC-V Vector…
-
GPT-5.2发布遇冷：技术跃进与用户体验的鸿沟分析
OpenAI在成立十周年之际发布了备受期待的GPT-5.2系列模型，官方宣称这是“迄今为止在专业知识工作上最强大的模型系列”，并在多项基准测试中刷新了SOTA水平。然而，发布后短短24小时内，社交媒体上却涌现出大量负面评价，用户普遍反映模型“不通人性”、“安全过度”、“像对待幼儿园小孩”，甚至认为这是“技术倒退”。这一现象揭示了当前大模型发展中一个核心矛盾：…
-
AI Agent独立复现顶会论文能力大揭秘：OpenAI PaperBench基准测试深度解析
当我们探讨AI的边界时，一个颇具挑战性的问题浮现出来：AI能否像人类研究者一样，独立阅读一篇前沿论文，理解其核心思想，从零编写代码，并成功复现实验结果？ OpenAI最新发布的PaperBench基准测试，正是为回答这个问题而设计的。这项研究不仅展现了当前AI Agent的真实能力边界，更为我们理解“AI辅助科研”这一命题提供了量化的参照系。 为什么需要Pa…
-
AI Agent评测体系全景：如何衡量智能体的真实能力？
在AI Agent领域，我们正见证一场从“数量竞赛”到“质量较量”的深刻转变。 从年初Manus的横空出世，到最近Genspark Super Agent的火爆登场，通用智能体的能力边界不断被刷新。与此同时，扣子、腾讯元器等平台上涌现出成千上万个垂直领域Agent。这让我们不得不思考一个核心问题：当企业将Agent作为核心竞争力时，究竟应该追求“万能工具箱”…
-
超越准确率：揭秘AI Agent评测的三大真相与行为分析革命
当我们谈论AI Agent的性能时，一个百分比数字真的能说明全部问题吗？最近一项针对20,000多次Agent运行的深度研究《Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation》给出了发人深省的答案——远比我们想象的复杂。 这项研究覆盖了9个极具挑战性的…
-
LLM应用评测全指南：核心指标、基准测试与实践方法
手动抽查提示词和输出，既慢又容易遗漏，长期来看难以持续。要确保 LLM 应用上线后稳定可靠，必须将评估过程自动化、流水线化。本文旨在全面解析 LLM 评测的各个方面，帮助你构建长期稳定运行的 LLM 应用。 对 LLM 进行评测，是确保其输出符合人类预期的关键环节，涉及伦理安全、准确性、相关性等多个维度。从工程实践角度看，LLM 的输出可被转化为一系列单元测…
