清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

可穿戴健康监测信号由于监测难度高、观测噪声大、易受干扰,高质量的心血管信号仍难以长期便捷获取,这是智能健康监测系统始终面临的现实困境。近日,清华朱军等团队提出了一种统一的多模态生成框架 UniCardio,在单扩散模型中同时实现了心血管信号的去噪、插补与跨模态生成,为真实场景下的人工智能辅助医疗提供了一种新的解决思路。相关工作《Versatile Cardiovascular Signal Generation with a Unified Diffusion Transformer》于 2025 年 12 月 29 日在 Nature Machine Intelligence 正式上线。

心血管疾病是人类致死的主要病因之一。对个体而言,光电容积描记信号(photoplethysmography,PPG)、心电信号(electrocardiography,ECG)以及血压信号(blood pressure,BP)能够从不同侧面反映同一底层生理过程:PPG 记录皮下微血管容积变化,便于通过可穿戴设备进行连续采集;ECG 反映心肌电活动,但通常需要更严格的电极放置与专业标定;动脉 BP 则常被视为更接近临床“金标准”的血压信息来源,却往往依赖侵入式或更高负担的采集方式。

现实监测因此呈现出明显的“两难”:可穿戴信号获取便捷,却更易受到噪声、运动伪影与信号中断的影响;而高质量或更关键的信号采集,则可能带来不适、风险与成本,难以长期连续部署。

过去的研究往往将这一问题拆解为若干“单点任务”:有的方法专注于信号去噪,有的方法聚焦缺失片段补全,即从“低质量”信号重建“高质量”信号。还有的方法研究信号模态转换,即从“易测量”信号预测“难测量”信号。这些方法已在各自任务上取得了进展,但一个显著的局限在于:多数模型仍然是任务特定、模态特定,难以在同一个模型中同时覆盖多任务、多模态、多条件建模,也难以充分利用心血管信号之间天然存在的相关性与互补性。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

在此背景下,清华朱军等团队提出了 UniCardio,旨在以一个统一生成框架同时完成两大类核心能力:其一是信号恢复(signal restoration),包括对低质量信号的去噪以及对间断记录信号的缺失片段插补;其二是模态转换(modality translation),即在给定某些可获得信号的条件下,合成难以获取或未被记录的目标信号,从而为真实场景中的心血管监测与分析提供更完整的信号视角。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

方法介绍

从方法角度,UniCardio 的关键并不在于构建一个简单的“点到点映射器”,而在于将多模态心血管信号视为同一生理系统的不同观测,进而学习它们之间的多模态条件分布关系。

UniCardio 采用扩散模型“从噪声到数据”的生成范式:在前向过程中,对不同模态采用统一的噪声化机制;在反向过程中,在条件信息的引导下逐步重建目标信号,从而在同一生成框架中覆盖多种输入—输出配置。在此基础上,UniCardio 使用 Transformer 架构来建模时间维度与模态维度上的依赖关系。

为了同时处理多模态、多任务,UniCardio 为每个模态配置了模态专用的编码器与解码器,以提取和还原具有生理意义的波形特征;另一方面,在 Transformer 的注意力计算中引入任务特定注意力掩码,用于显式约束信息流,只允许与当前任务相关的条件模态到目标模态的交互,从而减少无关模态或无关方向的信息干扰,使不同任务能够在同一网络中被稳定表达与联合学习。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

另一个不可回避的实际困难在于:随着模态数量的增加,可用的条件组合会迅速增长。如果在训练阶段简单地将所有任务“混在一起学习”,往往会导致样本分配不足与任务权重失衡。

针对这一问题,UniCardio 引入了一种面向生成任务的持续学习(continual learning)范式:以“条件模态数逐步增加”的方式分阶段纳入不同任务,以分配足量的训练样本和平衡不同阶段任务的贡献;并结合学习率调度、训练批次组成以及注意力掩码的结构性约束,以缓解持续学习的灾难性遗忘问题。其目标是让一个统一模型在面对不断扩展的模态组合与任务配置时,依然能够保持稳健而一致的综合能力。

这种范式还带来了跨任务-模态组合的知识迁移效应:在仅涉及较少模态的生成任务上进行训练,能够有效促进模型在涉及更多模态、条件更复杂的生成任务中的表现。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

实验及结果

在实验结果上,UniCardio 在信号去噪、插补与跨模态转换等多模态、多功能任务中,相较于多种任务特定基线方法展现出稳定而一致的优势,并系统性地体现了多模态互补信息的价值。

论文在多项代表性任务中表明:在仅使用单一条件模态时,UniCardio 已能达到或超越相应的任务特定方法相当。而在进一步引入额外条件模态后,生成误差可显著降低,波形恢复的稳定性也随之提升。例如,在 PPG 与 ECG 插补任务中,引入多模态条件后,生成误差下降至原来的三分之一量级;在 PPG→ECG 等跨模态生成任务中,UniCardio 在参数规模远小于部分生成基线的情况下,依然取得了更优或更稳健的结果。

这些现象表明,统一建模多模态条件分布本身即可带来跨任务的知识迁移收益,而无需为每一种模态组合单独设计模型。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

更进一步,论文将生成信号直接用于下游心血管相关应用进行验证,包括异常状态检测与生命体征估计。

在多个未见域数据集上,基于 UniCardio 生成信号得到的下游任务性能,能够显著优于直接使用噪声或间断信号,并在多数情况下接近使用真实信号的结果。例如,在心电异常检测任务中,由 UniCardio 去噪或插补得到的 ECG 信号能够有效恢复关键诊断信息,使检测准确率与特异性大幅提升,逼近真实 ECG 信号的表现;在心率与血压估计任务中,基于生成信号的预测误差也显著低于仅使用可穿戴信号或简单统计基线的情况。

这些结果表明,UniCardio 生成的信号不仅在数值上“更像”,而且在功能层面具备直接支撑下游分析的可用性。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

在可解释性方面,这项工作也给出了相对临床友好的论证路径。生成结果不仅追求误差数值的降低,还尽可能保留可被临床专家识别的诊断特征。论文通过可视化展示多类典型 ECG 异常形态在生成信号中的复现情况,并结合临床评估验证其诊断特征的一致性,表明生成信号在形态层面能够与真实生理信号保持良好对齐。

此外,论文还指出,扩散模型逐步去噪的生成过程本身提供了可观察的中间状态,有助于人类专家理解信号的生成演化过程,从而进一步增强模型的可解释性与可信度。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

总体而言,UniCardio 将心血管信号生成从以往的单任务、单模态组合,推进到了一个更加统一且具备可扩展性的框架:通过多模态扩散 Transformer 在同一模型中覆盖信号恢复与模态转换,并借助持续学习机制来容纳不断增长的条件组合复杂度。从应用前景看,这类统一的多模态生理信号生成范式不仅有望服务于医疗健康领域中的稳健监测与辅助诊断,也可能进一步拓展到脑科学、心理学与认知科学等同样依赖多源生理信号的研究场景。

作者介绍

本论文由清华大学的朱军教授和王立元助理教授担任共同通讯作者。共同第一作者为陈泽华博士、苗雨阳博士和王立元助理教授。首都医科大学附属北京安贞医院的范泸韵博士与英国帝国理工学院的 Danilo P. Mandic 教授亦为本文的共同作者。


关注“鲸栖”小程序,掌握最新AI资讯

本文来自网络搜集,不代表鲸林向海立场,如有侵权,联系删除。转载请注明出处:http://www.itsolotime.com/archives/16426

(0)
上一篇 2025年12月30日 上午11:47
下一篇 2025年12月30日 下午12:53

相关推荐

  • VideoCoF:无需掩码的时序推理视频编辑框架,以50k数据实现SOTA性能与长视频外推

    本文第一作者是 UTS 博士生杨向鹏,主要研究方向是视频生成和世界模型;第二作者是谢集,浙江大学的四年级本科生,主要研究方向统一多模态大模型和视频生成。通讯作者是吴强教授,主要研究方向为计算机视觉和模式识别。 现有的视频编辑模型往往面临「鱼与熊掌不可兼得」的困境:专家模型精度高但依赖 Mask,通用模型虽免 Mask 但定位不准。来自悉尼科技大学和浙江大学的…

    2025年12月23日
    8600
  • MiroThinker v1.5:30B小模型颠覆万亿参数Agent,交互深度成AI新范式

    30B的小模型,竟然在重量级Agent基准测试上,超越了万亿参数的Kimi K2T? MiroThinker v1.5的开源,似乎正在悄然改写行业长久以来对参数规模的迷信。这不仅仅是一次模型迭代,其背后以“交互深度”为核心的训练思想,可能正在定义Agent发展的新范式。 L3的影子 过去几年,AI性能的提升主要围绕两个轴心:数据规模与上下文长度。然而到了20…

    2026年1月8日
    6900
  • NitroGen:英伟达开源通用游戏AI模型,可零样本玩转千款游戏

    这流畅的游戏操作,堪比技术流玩家的实况画面。尤其是《茶杯头》中的躲避、跳跃、攻击一气呵成,令人惊叹。 最令人震撼的是,这些操作完全由AI完成。 与传统的单一游戏自动化脚本不同,这是一个完整的通用大模型,能够玩遍市面上几乎全部的游戏类型。 这就是英伟达最新开源的基础模型——NitroGen。 该模型的训练目标是玩转1000款以上的游戏,无论是RPG、平台跳跃、…

    2025年12月21日
    7600
  • 2026年工作流革命:10个现代Python库助你告别环境烦恼

    Generated in whisk 现代 Python 强调速度、清晰性和低摩擦。开发者期待能消除环境搭建之痛、缩短反馈回路的工具。 以下这些库可以在不增加复杂度的前提下,帮助你改进日常工作。 1. Pixi 📦 如果你曾花更多时间在排查虚拟环境而不是写代码上,Pixi 就是为你准备的。它是一个构建在 Conda 生态上的高性能包管理器,但针对速度与简洁做…

    6天前
    10000
  • COMET框架:突破AI加速器性能瓶颈,显式建模集体通信与复合操作数据流

    关键词:复合操作数据流建模、集体通信操作、内存层级优化、机器学习加速器、性能建模与优化 在人工智能技术日新月异的今天,大语言模型、状态空间模型等复杂神经网络已成为推动技术发展的核心引擎。然而,这些模型所依赖的复合操作——即由多个基础操作(如矩阵乘法、归一化、逐元素变换)组合而成的结构化模块——正在对现有的硬件加速器数据流设计与性能优化提出严峻挑战。 传统的数…

    6天前
    5100