跨模态学习
-
超声AI新突破!浙大联合团队发布首个大规模超声图文数据集US-365K,打造超声专用大模型Ultrasound-CLIP
超声领域迎来专用大模型。超声影像因实时、无辐射的特性,已成为临床一线诊断的重要手段。然而,异质的解剖结构与多样的诊断属性使得通用视觉语言预训练模型难以直接适配,且现有医疗跨模态数据中超声样本占比不足5%,成为该领域研究的关键瓶颈。 △ 超声图像在主要跨模态基准数据集中的占比分布。 图中红色区域及内部百分比代表超声图像的占比,蓝色区域为其他模态占比。顶部标签为…
-
跨模态知识解耦与对齐:北京大学团队突破终身行人重识别技术瓶颈
终身行人重识别技术旨在通过持续学习不断涌现的新增行人数据,在保持对已知数据识别能力的同时,吸收新增的鉴别性信息。这一技术在公共安防监控、智慧社区管理、运动行为分析等实际场景中具有重要的研究价值和应用前景。随着监控系统全天候运行,白天采集的可见光图像和夜晚采集的红外图像数据不断积累,终身行人重识别方法需要持续学习特定模态中的新知识(例如仅适用于红外模态的热辐射…
