多模态深度研究评测新标准：MMDR-Bench实现过程可核验、证据可追溯

Deep Research Agent 已变得流行，但其评估标准仍停留在“看起来很强”的层面。

生成内容像论文，并不等同于真正进行了研究。尤其当证据来自图表、截图、论文插图或示意图时，一个关键问题浮现：模型究竟是“看懂了”，还是仅仅“编造得像懂了一样”？

为了将多模态深度研究的评估从“读起来不错”拉回到更严格的标准，俄亥俄州立大学与 Amazon Science 联合牵头，联合多家高校与机构的研究者发布了 MMDeepResearch-Bench（MMDR-Bench）。该基准旨在实现过程可核验、证据可追溯、断言可对齐。

MMDR-Bench 及其评测框架的相关资源已公开：

• 论文标题：MMDeepResearch-Bench: A Benchmark for Multimodal Deep Research Agents
• 论文主页：https://mmdeepresearch-bench.github.io/
• 论文链接：https://arxiv.org/abs/2601.12346
• GitHub 链接：https://github.com/AIoT-MLSys-Lab/MMDeepResearch-Bench
• Huggingface 链接：https://huggingface.co/papers/2601.12346

随着 Deep Research Agent 日益普及，一个更现实的问题亟待解决：我们应如何评估其价值？对于研究型报告，往往难以用“答案是否正确”来简单评判，因为问题本身可能并无唯一标准答案。

真正决定报告可信度的是过程纪律：是否检索到了可靠证据？关键断言是否有引用支撑？引用是否确实对应了该断言？以及最易被忽视的一点：当证据来自图像时，模型是否“看对并用对”了信息。

现有评测体系往往缺失关键一环：要么偏向短问答（如图表问答、文档问答），要么偏向纯文本深度研究（长文配合网页引用），难以覆盖端到端的“多模态深度研究”全链路。这一链路要求系统既能撰写研究式长报告，又能将图像证据与文本断言逐句对齐，并且整个过程可审计、可追责。

01 为什么需要 MMDR-Bench：深度研究的“幻觉”不止于文本

在真实研究场景中，图像证据常常不可替代：曲线走势、坐标轴标签与单位、表格中的关键单元格、截图内的开关状态、论文插图中的对比结果等。一旦这些信息被误读，便会将后续的检索与综合推理引入歧途，最终产出一份“写得很像、引用很多，但根基错误”的报告。

问题在于，传统的“引用评测”往往只检查是否有 URL，却不深究该 URL 是否真正支撑了其对应的断言；而传统的“多模态评测”多为短问答形式，又无法覆盖智能体在长链路检索与报告综合中的表现。MMDR-Bench 旨在将这两方面连接起来，使得多模态深度研究的输出能够被逐句核验。

02 MMDR-Bench 是什么：140 个专家级任务，覆盖 19 个领域

MMDR-Bench 包含 140 个由领域专家精心设计的任务，覆盖 19 个不同领域。每个任务都提供一个“图像-文本”组合包：系统不仅需要检索网页、汇总证据，还必须解释并使用给定图像中的关键事实来支撑报告的结论。

作者将任务划分为两种使用情境：

• 日常型：偏向日常使用场景，输入多为截图、界面、噪声较高的图片，旨在考察系统在不完整信息下的稳健理解与可核验写作能力。
• 研究型：偏向研究分析场景，输入多为图表、表格、示意图等信息密集的视觉证据，强调细粒度读图与跨来源信息综合能力。

03 如何评估：不押注“唯一答案”，而押注“证据链与过程对齐”

为解决“开放式问题没有标准答案”的评测困境，MMDR-Bench 将评估流程拆分为三段管线，包含 12 个可定位指标。其重点不在于“结论是否唯一正确”，而在于“证据链是否站得住脚”。

（1）FLAE：可解释的长文质量评估（可审计）
长报告的要求因任务而异。FLAE 采用可复现的文本特征公式（如结构、可读性、覆盖度等），并结合任务自适应的评审信号，避免了“用一把尺子衡量所有报告”，同时确保评分过程可回放、可解释。

（2）TRACE：断言-URL 支撑核验，让引用不再是装饰
TRACE 将报告拆解为原子断言，并将其与引用的 URL 对齐，检查 URL 内容是否支持、矛盾或过度推断该断言，从而给出断言一致性、证据覆盖度与忠实度等指标。

更为关键的是，它引入了视觉证据忠实度作为硬性约束：报告必须严格遵守题目给出的图文提示，不得在分析题目时通过“幻觉”作答。一旦出现实体误识别、编造图中不存在的信息、误读数字、标签或映射关系等情况，将被严格扣分。

（3）MOSAIC：将“用到图像的句子”逐条对齐回图像本身
许多错误并不体现在 URL 上，而体现在“引用图像的句子”与图像实际内容不一致。MOSAIC 专门抽取出这些多模态相关条目，并依据图表、照片、示意图等不同类型，采用不同的核验规则，旨在定位“看错图、用错图、引用图但未真正基于图像内容”的失败案例。

科研从无银弹，深度研究亦然——尤其是在信息不完整、证据不确定的情况下。与其赌一次性的“正确结果”，不如将衡量标准锚定于过程：使每一步检索、取证、引用与推理，都能被回放、核对与追责。

04 观察到的现象：强写作 ≠ 强证据；会看图 ≠ 会引用

在针对多个代表性系统/模型的实验中，可以观察到非常清晰的能力分化：

• 有些模型写作与结构能力很强，但其断言与 URL 的对齐松散，容易出现“引用很多，支撑很弱”的情况。
• 有些模型能够从图像中抓取信息，但在长链路综合过程中发生实体漂移，将证据绑定到错误的对象上。
• 有些系统检索覆盖率高，却在图像细节（如小数字、轴标签、单位、映射关系）上出错，导致视觉忠实度得分显著下降。

正因如此，模型能力并不会随版本号线性提升。有些模型生成的内容读起来更“像一个会写的研究者”，但在证据对齐与多模态忠实度上仍会失分——在评测榜单上，甚至无需细看便能察觉。深度研究的关键瓶颈，正从“能写”转向“能被查”。

05 更现实的意义：为智能体对齐提供可训练的信号

深度研究的下一阶段，竞争点不在于谁写得更像论文，而在于谁的研究过程更能经得起核验。

MMDR-Bench 所做的，正是将“经得起核验”确立为硬性标准：要求每条关键断言都能被证据支撑，每个引用都能被追溯到具体支撑点，每次使用图像都能对齐到可观察的事实。

这将直接改变系统的迭代方式——开发者不再仅凭感觉调整提示词，也不会被“看起来很强”的报告所迷惑，而是可以利用可定位的失败模式，来驱动模型与工具链的升级。

当评测开始对过程追责时，深度研究才真正进入了可工程化的时代。

关注“鲸栖”小程序，掌握最新AI资讯