医疗视频AI黑盒被踢爆！全球最大最强开源模型uAI Nexus MedVLM，看懂手术，碾压GPT-5.4

手术视频的“黑箱”，被彻底砸穿了！

就在近日，GitHub 与 Hugging Face 社区同步上线了一枚医疗大模型领域的重磅武器——全球规模最大、性能最强的医疗视频理解大模型 uAI Nexus MedVLM（中文名：元智医疗视频理解大模型），现已全面开源！

最令人震撼的是，它真的能看懂手术过程。

该模型的论文已被 CVPR 2026 收录，研究团队还同步发布了一套由 6245 个视频-指令对构成的标准测试集。这意味着什么？医疗视频理解领域，终于有了一把统一的“公共标尺”。

如此大规模、高精度的医疗视频数据开源，在行业内尚属首次。

小编第一时间冲上 Hugging Face，将模型下载下来进行了一番实测。

到底有多能打？

先看看 uAI Nexus MedVLM 的硬核指标：

• 汇聚超过 53 万条视频-指令数据；
• 支持 4B/7B 参数规模，单张显卡即可部署（没错，一张卡就能跑）；
• 整合了 8 个专业医学数据集，覆盖内镜、腹腔镜、开放手术、机器人手术、护理操作……几乎你能想到的所有手术场景，它都囊括在内。

实测效果如何？

Demo 的体验设计非常直观：界面核心模块清晰明了；支持上传手术视频文件。

你可以上传自己的医疗视频，也可以直接使用预置示例进行测试。

我选择用示例中的腹腔镜胆囊切除术视频，从三个临床核心维度进行测试，并对比了通用大模型（GPT-5.4、Gemini-3.1、某国产大模型）与 uAI Nexus MedVLM 的输出差异。

定量实测 的数据堪称残暴！手术安全评估准确率高达 89.7%。

这是什么概念？GPT-5.4 仅有 16.4%，Gemini-3.1 为 24.2%，某国产大模型也只有 30.9%。换句话说，uAI Nexus MedVLM 的准确率是 GPT-5.4 的近 5.5 倍，是 Gemini-3.1 的 3.7 倍，是国产大模型的近 3 倍。

时空动作定位方面：uAI Nexus MedVLM 的 mIoU 是 Gemini-3.1 的 3.2 倍，是国产大模型的 3.7 倍，更是 GPT-5.4 的 47 倍。

视频报告生成（5 分制）：uAI Nexus MedVLM 拿到了 4.24 分，GPT-5.4 只有 3.98 分，某国产大模型仅 3.5 分，Gemini-3.1 也只有 3.7 分。

而通过 MedGRPO 强化学习 优化后，相比基座模型，uAI Nexus MedVLM 的 器械定位 能力提升了 14%；手术步骤识别 能力暴涨 52%；手术描述质量 提升了 16%～25%。

uAI Nexus MedVLM 覆盖了内镜腔镜手术、开放式手术、机器人手术、护理操作等多种临床场景，涵盖了 8 个手术数据集中的 8 项任务：

视频摘要（VS）、关键安全视野评估（CVS）、下一步操作预测（NAP）、技能评估（SA）、时间动作定位（TAG）、密集视频描述（DVC）、区域级描述（RC）和时空基础化（STG）。每一项任务的表现都全面超越了 GPT 和 Gemini。

再来看 定性实测 的结果：将一段带有绿色框标记的手术视频发给大模型，让它进行描述。

输入问题：你是一名专攻微创手术的外科分析专家。这段视频展示了腹腔镜胆囊切除术的内镜画面。请描述 0.0 秒时，边界框内物体的状态，以及在 0.0～29.0 秒时间段内的操作。

标准答案是：钳持续夹持并将胆囊向手术视野的左上方牵拉，提供反向牵引和暴露。

GPT-5.4 这边，只能给出非常笼统的描述，完全无法识别出具体器械。

Gemini-3.1 则将工具错误地识别为“电凝钩”，并描述了不正确的操作。

某国产大模型：则完全无法识别出正确的手术操作步骤。

只有 uAI Nexus MedVLM，给出了接近标准答案的描述：

位于左上方的抓钳持续向上并朝中央牵引胆囊，保持张力并为钩子暴露分离平面。

随后，我查看了示例中给出的 8 个任务表现，一个比一个令人震撼。

为了避免真实手术场景带来的观感不适，我们选取了一段相对温和的示例视频，内容是护士为患者监测身体指标。

视频涵盖了护士查看血压计、查看体温计、护理记录、洗手、测量血压、测量体温、脉搏测量、呼吸测量等一系列工作。

现在，我们随机考察 8 个任务中的其中一个，比如「时间动作定位」。

输入问题：脉搏测量动作发生在什么时间？

标准答案是：46.0-61.8 秒。

模型给出的预测是：43.0-65.0 秒。前后 误差不超过 4 秒，且正确答案就在预测范围内。

为什么手术视频是 AI 最难啃的骨头？

在 AI 医疗领域，将 AI 用于影像辅助诊断、病历书写、质控管理等场景早已屡见不鲜，并且已在不少医院落地。

但有一个方向，至今仍是公认的“无人区”，那就是 手术视频理解。

之前没人敢碰，为什么？三重地狱级难度，和静态影像完全不是一个量级：

第一关：数据极难获取。 临床手术视频涉及患者隐私与医学伦理，获取本身就困难重重。即便拿到了原始视频，让专业医生逐帧标注？成本高到足以劝退 99% 的团队。

第二关：没有统一评测标准。 这是行业里一个非常尴尬的现实：各家使用自己的数据集、自己的指标，模型效果根本无法横向比较。你说你强，他说他强，谁说了都不算，严重阻碍了整个赛道的发展。

第三关：任务本身极端复杂。 手术视频的难点在于对空间、时序、语义的理解需要高度专业。例如，它需要精准识别毫米级的器械位置和解剖结构。稍微偏一点，就可能认错。而且胆囊得先分离再切除，不能反过来。AI 如果看不懂时序，就根本无法理解手术进程。各种约束叠加，再顶级的模型也只能望而却步。

但现在，这个无人区被 uAI Nexus MedVLM 一脚踩穿。

它不只是“炫技”，是真的能救命。

好了，说点实际的。这模型具体能做什么？

术前：分析主刀医生上万台手术视频，挖掘临床规律、辅助优化方案。想象一下，你是一位刚站上手术台的临床医生，即将做一台胆结石微创手术。以前你只能依靠记忆和经验；现在，AI 把成千上万台顶级专家的 手术经验沉淀 下来，相当于你拥有了最强的大脑，来辅助你完成这台手术。

术中：在分离胆囊管、显露安全视野等关键步骤，实时给出指引；对违规操作、动作偏差进行毫秒级预警，成为你的“第三只眼”。

术后：自动完成总结与结构化记录，这通常会占用医生大量时间，但现在，一键即可生成标准化报告。这台手术的经验，也能成为下一位医生的“决策依据”。

手术质控、术中安全、报告自动化、医学教学……uAI Nexus MedVLM 的价值，远不止于技术突破。

在中国，优质医疗资源集中在三甲医院，基层医院医生成长周期长、手术经验积累慢。而 uAI Nexus MedVLM 可以把顶级专家的手术经验“沉淀”下来，让基层医院的医生也能获得“专家级”的术中辅助。这或许才是 AI 真正理解手术视频的意义所在。

全球开发者，新机遇来了

这次发布，最值得关注的不仅是 uAI Nexus MedVLM 本身。

开发这一模型的背后玩家联影智能（联影集团旗下一家专注于 AI 医疗的创新公司），首次向全球开源大规模高质量医疗视频标注数据和模型，并提供了一个更具可比性的评测基准。

这意味着什么？终于有了一个手术视频理解垂直领域的“全球公共测评体系”了。

以前，各家模型各说各话，效果没法比。现在，拉到同一个数据集上跑一跑，谁强谁弱，一目了然。

而这，还只是开始。

这支研发团队不想唱独角戏，上线了 医疗视频理解大模型榜单，面向全世界开发者发出挑战。

这是一个综合基准测试，用于评估视频语言模型在医疗和外科视频理解方面的表现。开发者可以提交自有模型结果，由系统基于标准自动评分，形成动态更新的统一排行榜。

当全球开发者都能下载模型、使用数据集、上传自己的成果时，就看谁能把医疗视频理解的能力边界，再往前推进一步了。

在这个过程中，医生上传的罕见病例、复杂手术视频，尤其是现有模型表现不足的案例，都会成为极为珍贵的真实数据，持续驱动技术迭代。

医疗视频 AI 正在迎来面向全球开发者的黄金时代。

展望未来，uAI Nexus MedVLM将与具身智能深度融合，全面构建从感知、推理到执行的完整能力闭环。其应用场景也将从手术室扩展至更多临床领域，推动整个医疗流程迈向智能化。

数据开放、模型共建、全球协作——这条道路，才刚刚启程。

开发者们，是时候行动起来了～

附加资源链接：

1. 在线Demo：https://huggingface.co/spaces/UII-AI/MedGRPO-Demo
2. 推理代码：https://github.com/UII-AI/MedGRPO-Code
3. MedVidBench数据集：https://huggingface.co/datasets/UII-AI/MedVidBench
4. 公开榜单：https://huggingface.co/spaces/UII-AI/MedVidBench-Leaderboard
5. 论文：https://arxiv.org/abs/2512.06581
6. 项目介绍：https://uii-ai.github.io/MedGRPO/

欢迎在评论区分享你的见解！

— 全文完 —