清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

可穿戴健康监测信号由于监测难度高、观测噪声大、易受干扰,高质量的心血管信号仍难以长期便捷获取,这是智能健康监测系统始终面临的现实困境。近日,清华朱军等团队提出了一种统一的多模态生成框架 UniCardio,在单扩散模型中同时实现了心血管信号的去噪、插补与跨模态生成,为真实场景下的人工智能辅助医疗提供了一种新的解决思路。相关工作《Versatile Cardiovascular Signal Generation with a Unified Diffusion Transformer》于 2025 年 12 月 29 日在 Nature Machine Intelligence 正式上线。

心血管疾病是人类致死的主要病因之一。对个体而言,光电容积描记信号(photoplethysmography,PPG)、心电信号(electrocardiography,ECG)以及血压信号(blood pressure,BP)能够从不同侧面反映同一底层生理过程:PPG 记录皮下微血管容积变化,便于通过可穿戴设备进行连续采集;ECG 反映心肌电活动,但通常需要更严格的电极放置与专业标定;动脉 BP 则常被视为更接近临床“金标准”的血压信息来源,却往往依赖侵入式或更高负担的采集方式。

现实监测因此呈现出明显的“两难”:可穿戴信号获取便捷,却更易受到噪声、运动伪影与信号中断的影响;而高质量或更关键的信号采集,则可能带来不适、风险与成本,难以长期连续部署。

过去的研究往往将这一问题拆解为若干“单点任务”:有的方法专注于信号去噪,有的方法聚焦缺失片段补全,即从“低质量”信号重建“高质量”信号。还有的方法研究信号模态转换,即从“易测量”信号预测“难测量”信号。这些方法已在各自任务上取得了进展,但一个显著的局限在于:多数模型仍然是任务特定、模态特定,难以在同一个模型中同时覆盖多任务、多模态、多条件建模,也难以充分利用心血管信号之间天然存在的相关性与互补性。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

在此背景下,清华朱军等团队提出了 UniCardio,旨在以一个统一生成框架同时完成两大类核心能力:其一是信号恢复(signal restoration),包括对低质量信号的去噪以及对间断记录信号的缺失片段插补;其二是模态转换(modality translation),即在给定某些可获得信号的条件下,合成难以获取或未被记录的目标信号,从而为真实场景中的心血管监测与分析提供更完整的信号视角。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

方法介绍

从方法角度,UniCardio 的关键并不在于构建一个简单的“点到点映射器”,而在于将多模态心血管信号视为同一生理系统的不同观测,进而学习它们之间的多模态条件分布关系。

UniCardio 采用扩散模型“从噪声到数据”的生成范式:在前向过程中,对不同模态采用统一的噪声化机制;在反向过程中,在条件信息的引导下逐步重建目标信号,从而在同一生成框架中覆盖多种输入—输出配置。在此基础上,UniCardio 使用 Transformer 架构来建模时间维度与模态维度上的依赖关系。

为了同时处理多模态、多任务,UniCardio 为每个模态配置了模态专用的编码器与解码器,以提取和还原具有生理意义的波形特征;另一方面,在 Transformer 的注意力计算中引入任务特定注意力掩码,用于显式约束信息流,只允许与当前任务相关的条件模态到目标模态的交互,从而减少无关模态或无关方向的信息干扰,使不同任务能够在同一网络中被稳定表达与联合学习。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

另一个不可回避的实际困难在于:随着模态数量的增加,可用的条件组合会迅速增长。如果在训练阶段简单地将所有任务“混在一起学习”,往往会导致样本分配不足与任务权重失衡。

针对这一问题,UniCardio 引入了一种面向生成任务的持续学习(continual learning)范式:以“条件模态数逐步增加”的方式分阶段纳入不同任务,以分配足量的训练样本和平衡不同阶段任务的贡献;并结合学习率调度、训练批次组成以及注意力掩码的结构性约束,以缓解持续学习的灾难性遗忘问题。其目标是让一个统一模型在面对不断扩展的模态组合与任务配置时,依然能够保持稳健而一致的综合能力。

这种范式还带来了跨任务-模态组合的知识迁移效应:在仅涉及较少模态的生成任务上进行训练,能够有效促进模型在涉及更多模态、条件更复杂的生成任务中的表现。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

实验及结果

在实验结果上,UniCardio 在信号去噪、插补与跨模态转换等多模态、多功能任务中,相较于多种任务特定基线方法展现出稳定而一致的优势,并系统性地体现了多模态互补信息的价值。

论文在多项代表性任务中表明:在仅使用单一条件模态时,UniCardio 已能达到或超越相应的任务特定方法相当。而在进一步引入额外条件模态后,生成误差可显著降低,波形恢复的稳定性也随之提升。例如,在 PPG 与 ECG 插补任务中,引入多模态条件后,生成误差下降至原来的三分之一量级;在 PPG→ECG 等跨模态生成任务中,UniCardio 在参数规模远小于部分生成基线的情况下,依然取得了更优或更稳健的结果。

这些现象表明,统一建模多模态条件分布本身即可带来跨任务的知识迁移收益,而无需为每一种模态组合单独设计模型。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

更进一步,论文将生成信号直接用于下游心血管相关应用进行验证,包括异常状态检测与生命体征估计。

在多个未见域数据集上,基于 UniCardio 生成信号得到的下游任务性能,能够显著优于直接使用噪声或间断信号,并在多数情况下接近使用真实信号的结果。例如,在心电异常检测任务中,由 UniCardio 去噪或插补得到的 ECG 信号能够有效恢复关键诊断信息,使检测准确率与特异性大幅提升,逼近真实 ECG 信号的表现;在心率与血压估计任务中,基于生成信号的预测误差也显著低于仅使用可穿戴信号或简单统计基线的情况。

这些结果表明,UniCardio 生成的信号不仅在数值上“更像”,而且在功能层面具备直接支撑下游分析的可用性。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

在可解释性方面,这项工作也给出了相对临床友好的论证路径。生成结果不仅追求误差数值的降低,还尽可能保留可被临床专家识别的诊断特征。论文通过可视化展示多类典型 ECG 异常形态在生成信号中的复现情况,并结合临床评估验证其诊断特征的一致性,表明生成信号在形态层面能够与真实生理信号保持良好对齐。

此外,论文还指出,扩散模型逐步去噪的生成过程本身提供了可观察的中间状态,有助于人类专家理解信号的生成演化过程,从而进一步增强模型的可解释性与可信度。

清华UniCardio:多模态扩散模型革新心血管监测,实现实时全面信号生成

总体而言,UniCardio 将心血管信号生成从以往的单任务、单模态组合,推进到了一个更加统一且具备可扩展性的框架:通过多模态扩散 Transformer 在同一模型中覆盖信号恢复与模态转换,并借助持续学习机制来容纳不断增长的条件组合复杂度。从应用前景看,这类统一的多模态生理信号生成范式不仅有望服务于医疗健康领域中的稳健监测与辅助诊断,也可能进一步拓展到脑科学、心理学与认知科学等同样依赖多源生理信号的研究场景。

作者介绍

本论文由清华大学的朱军教授和王立元助理教授担任共同通讯作者。共同第一作者为陈泽华博士、苗雨阳博士和王立元助理教授。首都医科大学附属北京安贞医院的范泸韵博士与英国帝国理工学院的 Danilo P. Mandic 教授亦为本文的共同作者。


关注“鲸栖”小程序,掌握最新AI资讯

本文来自网络搜集,不代表鲸林向海立场,如有侵权,联系删除。转载请注明出处:https://www.itsolotime.com/archives/16426

(0)
上一篇 2025年12月30日 上午11:47
下一篇 2025年12月30日 下午12:53

相关推荐

  • Agent Skill框架赋能小语言模型:12B模型技能选择准确率逼近90%,算力成本降低50%

    关键词:Agent Skill 框架、小语言模型、上下文工程、工业应用、GPU 效率 近年来,以 GitHub Copilot、LangChain 等为代表的 Agent Skill 框架已成为大语言模型应用的重要范式。该框架通过精心设计的“静态技能库”,让模型在推理过程中渐进式地获取相关技能上下文,从而有效减少幻觉、提升工具使用的准确性。 然而,这一范式高…

    2026年2月25日
    48100
  • 强化学习赋能3D生成:首个文本到3D的RL范式攻克几何与物理合理性难题

    强化学习赋能3D生成:首个文本到3D的RL范式攻克几何与物理合理性难题 在大语言模型和文生图领域,强化学习(RL)已成为提升模型思维链与生成质量的关键方法。但当我们将目光转向更为复杂的文本到3D生成时,这套方法还会管用吗? 近期,一项由西北工业大学、北京大学、香港中文大学、上海人工智能实验室、香港科技大学合作开展的研究系统性探索了这一重要问题。 论文链接: …

    2025年12月20日
    32100
  • 谁守护守护者?ETH Zurich新研究揭示SoC容错设计盲区,重叠保护方案实现99.9%故障覆盖率

    关键词:SoC 容错、单粒子翻转、三模冗余、锁步内核、重叠保护、ECC 内存 “在太空中,一个未被纠正的比特翻转,就可能让耗资数亿美元的探测器迷失方向;在自动驾驶汽车里,一次未被检测的数据错误,就可能酿成无法挽回的安全事故。然而,当我们穷尽一切手段去加固处理器内核、纠错存储器时,是否想过一个问题:谁来检查那些负责检查的‘检查者’?” 这便是论文《Who Ch…

    2026年4月20日
    26800
  • Anthropic内部Skills开发秘籍:从实战经验到最佳实践

    Skills 已成为 Claude Code 中使用最广泛的扩展方式之一。它们灵活、易于创建,也方便分发。 但这种灵活性也带来了一个问题:很难判断什么才是最佳实践。什么类型的 Skills 值得开发?写出一个优秀 Skill 的秘诀是什么?又应该在什么时候将它们分享给他人? 在 Anthropic 内部,我们已经在 Claude Code 中广泛使用 Ski…

    2026年3月21日
    52700
  • NitroGen:英伟达开源通用游戏AI模型,可零样本玩转千款游戏

    这流畅的游戏操作,堪比技术流玩家的实况画面。尤其是《茶杯头》中的躲避、跳跃、攻击一气呵成,令人惊叹。 最令人震撼的是,这些操作完全由AI完成。 与传统的单一游戏自动化脚本不同,这是一个完整的通用大模型,能够玩遍市面上几乎全部的游戏类型。 这就是英伟达最新开源的基础模型——NitroGen。 该模型的训练目标是玩转1000款以上的游戏,无论是RPG、平台跳跃、…

    2025年12月21日
    39500